Borgen Hjortholm stammer formentlig fra midten af 1200-tallet og nævnes første gang i 1275. Den var opført af Roskildebispen og blev efterhånden et vigtigt administrationscenter for Roskilde bispestols jordegods i Nordsjælland. Borgen er anlagt på et næs, der strækker sig ud i Furesø fra den sydøstlige bred. Banken måler ca. 60 × 70 m, men den vestligste del er dog med tiden skyllet ud i søen, og en forhøjning på bankens sydvestlige hjørne skyldes en nyere oprensning af Mølleå. Borgen har således været beskyttet af vand mod vest af Furesø samt mod nord og øst af ca. 15 m brede voldgrave. I syd grænsede borgen op til et engareal. Selve borgen optog et areal på ca. 65 × 40 m.
Hjortholm blev udgravet i 1929 under ledelse af arkitekt Arne Nystrøm. Her blev der afdækket rester af et stort, firfløjet anlæg omkring en indre borggård. En ca. 1,3 m tyk ringmur beskyttede borgen, hvortil der var adgang gennem porttårnet i østfløjen. En række fund, heriblandt en romansk søjlekapitæl, ribbesten fra hvælvinger og glaserede gulvfliser giver desuden indtryk af, at der var indrettet palatium (de repræsentative gemakker og borgherrens bolig) til biskoppen på Hjortholm. I 1993 blev der foretaget en mindre genudgravning af en bygning op mod søndre ringmur med rester af en vindeltrappe. Kroppedal Museum gennemførte i 2012 en undersøgelse i forbindelse med nedlægning af en spildevandsledning. Her blev afdækket rester af en forstærkende trækonstruktion i voldgraven på ladegårdsbankens yderside. To af stolperne fra faskinen er kulstof 14-dateret til perioden ca. 1450-ca. 1650. Ladegården lå øst for voldgraven, hvor der ved pløjning er dukket murbrokker op. Under Grevens Fejde blev Hjortholm så ødelagt, at den aldrig blev genopbygget. Efter Reformationen i 1536 blev godset lagt ind under København Len. I 1700-tallet var endnu bevaret synlige rester af bygningerne på banken, men vedvarende plyndring af voldstedet for byggematerialer har siden fjernet alle synlige murrester.
