Som grænsesogn ved Kongeå oplevede Malt urolige tider under 1600-tallets gentagne fjendtlige militære invasioner. Krigene gik hårdt ud over sognet, og under provst Jacob Simonsen Seerup brændte præstegården, og resterne blev bortført af de polske hjælpetropper. 1869‑70 flyttedes embedsboligen fra Maltbæk til pladsen nær Malt Kirke, hvor egnens ansete bygmester Peder Holden Hansen skabte et nu bygningsfredet grundmuret og hvidkalket anlæg, stramt symmetrisk og herskabeligt for enden af en linde- og kastanjeallé. Stuehuset har et fremhævet indgangsparti ved en risalit under en lav fronton.
De to præstegårde Vejen Præstegård og Malt gamle Præstegård er begge tegnet af den lokale bygmester Peder Holden Hansen, der satte et stort præg på egnen.
