N.F.S. Grundtvig blev født på Udby Præstegård i 1783. Præstegården er hvidkalket og med stråtækt bindingsværk med Udby Kirke tronende øverst på bakken og flankeret af degnestavnen (degnens bolig). Præstegården menes opført af præsten Jens Nielsen Woldum (præst 1622‑56), men er gentagne gange ombygget og fornyet.
Anlægget består af præstebolig og avlsgård med stuehuset i syd med korte sidefløje, hvor den østre, kapellanfløjen, nu er indrettet med Grundtvigs Mindestuer. Den vestre sidefløj er fornyet i grundmur i 1841, modvendt avlsgården. Salmedigterens far, Johan Grundtvig, der var præst i perioden 1776‑1812, hævdede at have investeret 1.000 rdl. i den faldefærdige præstegård, han overtog. Også under efterfølgeren, Johan Chr. Lund (præst 1840‑75), blev præstegården ombygget og renoveret.
