Den nordligste del af byen rummer de arkitektonisk vigtigste bygninger. Det fredede ting- og arresthus (1845) af N.S. Nebelong er opført i en historiserende stil med en fremtrukket facadekvist.
Holsted blev i begyndelsen af 1900-tallet præget af bevægelsen Bedre Byggeskik. Her kan især fremhæves Postgården, som blev opført i to etager i Østergade (1924). Stilenpræger også Vestergade med den tidligere kommuneskole. Også præstegården fra 1918 og inspektørboligen fra 1922, der i dag rummer Huset Relatus med ungdomsboliger, er gode eksempler. I Nørregade ligger Teknisk Skole med kvaderlisener og barokke detaljer omkring hoveddøren (1922) og Vejen Bank fra 1920, begge tegnet af Henrik Johansen.
