Mellem Brørup og Vejen lyser hvidkalkede Sønderskov op omgivet af voldgrav og tre skove, Nørreskov, Hjortehaven og Skovhoved, samt Kongeå, der løber bag skoven mod syd. Herregårdslandskabet med veje, stier og alléer fra 1700-tallet er et af de bedst bevarede i det sydlige Jylland med bl.a. en hovvej og en kirkesti til Folding Kirke.
Herregården kendes fra midten af 1400-tallet, hvor den blev overdraget til Ribe bispestol af Jakob Nielsen på vegne af hans afdøde hustru Bothilde Nielsdatters slægt. Allerede i 1483 var den dog i slægtens hænder igen hos efterkommeren Henrik Steen, og via hans datter Anne Steensdatters ægteskab gik den derefter til slægten Galskyt, som ejede den gennem hele 1500-tallet.
I 1614 blev Thomas Juel fra Estrup ejer. Ifølge jernankre på facaden opførte han den nuværende, og i dag fredede, hovedbygning i 1620 med en enkelt fløj i grundmur i to en halv etage samt to højere tårne. Den ejer, der skulle give hovedbygningen det udtryk, den i høj grad har i dag, var imidlertid Hans Bachmann, der også var ejer af Estrup. Han gennemførte en ombygning i 1724 efter periodens barokstil, der bl.a. indebar, at tårnene blev til to lavere sidefløje. Efter Bachmanns død i 1745 overtog hans datter og svigersøn herregården. Derefter fulgte en længere periode med hyppige ejerskifter og den for perioden typiske godsspekulation. Blandt spekulanterne var Peter Momsen, der ejede Sønderskov i årene 1804‑12 og sidenhen generhvervede den efter en tvangsauktion i 1819. Efterfølgende forblev gården i familiens eje de næste 100 år.
Siden 1990 har herregården huset Museet på Sønderskov, der i dag er et statsanerkendt kulturhistorisk museum for Vejen Kommune. Det er således muligt for offentligheden at se herregårdens interiører, herunder enestående 1700-tals kalkdekorationer i vestibulen. Den tidligere barokhave er genskabt med symmetrisk opbygning, hvilket også gælder den gamle urtehave. Gårdspladsen har original pikstensbelægning med geometrisk mønster.
