Den bygningsfredede Hillerød Præstegård på bakken bag Torvet indgår i et fornemt bybillede sammen med det monumentale, tidligere rådhus fra 1887‑88 og den fredede, tidligere statsskole fra 1836. Præstegården ligger dermed ikke ved Frederiksborg Slot, hvis slotskirke indtil 1962 var hele Hillerøds kirke. Omgivet af havens høje hække på grov stensætning optager præstegården hele karréen bag Kannikegade. Præstegården står på ældre, delvis hvælvede kældre.
Jens Christian Hostrup, der ved Frederik 7.s mellemkomst blev slotspræst i 1862 og indtil 1881, lod arkitekt Christian Zwingmann stå for en gennemgribende ombygning af præstegården. Trods ombygningen i 1863 og senere ombygninger har præstegården bevaret fine detaljer fra 1700-tallet og det tidlige 1800-tals boligkultur med brede fyldingsdøre med låsekasser i profilerede gerigter, kraftigt panelværk og gipsede lofter. Over indgangen findes en mindetavle for Sjællands biskop Peder Hersleb, der var slotspræst i Hillerød 1718‑24 og ophavsmand til Frederik 4.s skelsættende oprettelse af 240 rytterskoler på krongodset.
