Få sogne i landet har haft en præstehistorie så interessant som Brøndbyvesters, hvor flere af 1800-tallets betydelige kirkemænd har virket. Præstegården indgår i et harmonisk samspil med rytterskole, moderne sognegård og middelalderkirke og er opført i 1829 af præsten Jørgen Christian Svitzer, der virkede 1820‑44. Præstegården var brændt i hhv. 1607, 1796 og 1829 og blev genopført i grundmur, dog med stråtag. Den trelængede avlsgård var i bindingsværk, men blev efter en brand i 1930 afløst af den nuværende grundmurede bygning.
Svitzers forgænger, amtsprovst Eiler Hammond, drev 1802‑20 som andre af tidens progressive præster et meget søgt lærerseminarium i præstegården. Senere dannede den herskabelige, dog i dag væsentlig moderniserede beboelse, rammen om et muntert og kulturpræget præstegårdsliv under Grundtvigs ven og proselyt Gunni Busck 1844‑69 og den fremtrædende statsmand D.G. Monrad 1869‑71, der efter sin noget turbulente politiske karriere og eksil i New Zealand fandt et fristed hér, før han igen blev biskop over Lolland-Falsters Stift.
