Helt fra grundlæggelsen af Polyteknisk Læreanstalt i 1829 blev der i civilingeniøruddannelsen lagt stor vægt på fysikundervisningen. Frem til 1876 blev den varetaget af fællesprofessorer ved Københavns Universitet og Polyteknisk Læreanstalt. Den første var H.C. Ørsted, der opdagede, hvordan en elektrisk strøm påvirker en magnetnål og således banede vejen for udviklingen af elektromagnetismen og hele vores kommunikations- og elforsyningssystem. Til fysikundervisningen blev knyttet Fysisk Samling, der omfattede både en instrumentsamling og et bibliotek. Dele af instrumentsamlingen findes stadig i bygning 306, hvor meget af den indledende fysikundervisning finder sted, ligesom Gamle Samling af ældre fysikskrifter opbevares under betryggende forhold i bygning 309.
Fra 1876 opbyggedes fysikundervisning og efterhånden også fysikforskning helt tilknyttet Polyteknisk Læreanstalt. Et egentligt Fysisk Laboratorium blev etableret i 1907. Efter den kvantemekaniske forståelse af atomer, molekyler og faste stoffer var blevet opbygget gennem første halvdel af 1900-tallet, begyndte mange tekniske anvendelser at vise sig internationalt (fx halvledere, magnetiske materialer, superledere) og der skete en kraftig ekspansion inden for især faststoffysik og materialeforskning. Ved udflytningen til Lundtofte førte dette til oprettelse af en række professorater, hvortil der typisk blev knyttet nye institutter. I 1970 var der på DTU således 8 fysikinstitutter. Nogle aktiviteter (fx halvlederkomponenter) kom efterhånden så tæt på praktiske anvendelser, at de flyttede ud af grundfagssektoren for at indgå i Microelektronikcentret MIC.
Op igennem 1980'erne blev mange nye og tværfaglige emner taget op. I samarbejde med andre DTU-institutter dannedes f.eks. indsatsområdet MIDIT (Modelling, Ikke-lineær Dynamik og Irreversibel Termodynamik), som i høj grad medvirkede til at styrke instituttets indsats inden for biologisk fysik og komplekse systemer. Nogle år senere oprettedes grundforskningscenteret CAMP (Center for Atomic-scale Materials Physics), som kom til at forny materialeforsknigen, og som i dag danner grundlaget for vores indsats på nano-området. Herved mistede den gamle institutstruktur gradvist sin berettigelse og efter en række fusioner samledes alle aktiviteter i 1993 i Institut for Fysik.
Instituttet gennemgår i disse år igen væsentlige omstruktureringer, bl.a. i lyset af samfundets behov for udvikling inden for nano-, bio- og informationsteknologien. Det er alle områder, hvor fysikken kan yde væsentlige bidrag, og hvor forskningen samtidig kan generere ny fysisk forståelse. I kvanteinformatikken forsøger man f.eks. at udnytte den enkelte elektrons spin eller den enkelte fotons tilstedeværelse som informationsenhed. Et andet vigtigt område er katalyse, som bl.a. vil få betydning for mulighederne for at udvikle et energiforsyningssystem, som i væsentligt grad er baseret på brint (brintsamfundet).