Karl Gustav-krigene 1657‑60 havde hærget egnen og bl.a. afbrændt Herslev Præstegård, hvorefter den nuværende, bygningsfredede præstegård må være opført næsten som en hel lille herregård i kraftigt egebindingsværk og stråtag. I dag er bygningen delvis skalmuret og hvidkalket. Marcus Andreas Thomsen (præst 1802‑15), borgmestersøn fra Fredericia, ombyggede og skalmurede stuehuset, hvortil efterfølgeren, Hans Jørgen Giessing (præst 1816‑31), i 1824 føjede forpagterboligen, og i 1850 kom den fritliggende vognport til. Præstegården har en stor parkagtig have og ligger i udkanten af landsbyen med udsyn over det åbne landskab.
