Hjortholm, der formentlig stammer fra midten af 1200-tallet, nævnes første gang i 1275 og blev efterhånden et vigtigt administrationscenter for Roskilde bispestols jordegods i Nordsjælland. Da især Roskildebispens besiddelser i området har været betydelige siden tidlig middelalder, har private stormænd kun i yderst begrænset omgang samlet sig jordegods i området. Den eneste kendte middelalderlige borgbanke i Lyngby-Taarbæk Kommune, Hjortholm, var da også opført af Roskildebispen.
I kommunen ligger desuden herregården Frederiksdal samt slottene Sorgenfri og Eremitagen.