Præsteboligen blev efter Hørsholm Sogns selvstændighed i 1790 indrettet i den lave, grundmurede staldlænge over for Hirschholm Slots forpagterbolig, det nuværende Hørsholm Egns Museum, Museum Nordsjælland. Forpagterboligen blev opført i 1723 efter tegning af den senere Christian 6., der ved sit bryllup havde fået Hirschholm Slot. I tilslutning til den imponerende lade fra 1713 og Kavalérfløjen fra 1721 (ombygget 1944) udgør de enkle, okkergule længer en harmonisk helhed omkring det lille torv. På torvet står Stolbergstøtten, enkedronning Sophie Magdalenes mindestøtte rejst i 1766 for overhofmester grev Christian Günther Stolbergs reformer 1759‑61. Reformerne betød, at det meste af godsets hovedgårdsjord blev solgt fra, godsets bønder fik arvefæste på deres gårde samt frihed for hoveri mod en afgift til enkedronningen.
Ude som inde står præsteboligen velbevaret, de tre østlige fag dog tilbygget af den kirkehistorisk og liturgisk kyndige pastor Christian Barfoed i årene 1879‑92.
