Der er kendskab til 26 middelalderlige voldsteder i kommunen, hvoraf mindst 14 endnu er tydelige i terrænet, mens syv er helt forsvundet eller kun kendes fra skriftlige kilder. De fleste var antagelig private borge og befæstede gårde fra den urolige tid mellem 1286 og år 1400, og som sandsynligvis kun fungerede i kort tid. Gram, Tovskov, Revsø, Tørning og Ejsbøl var dog fortsat i brug frem til 1500-tallet.
Især herregårdene Gram og Revsø afspejler en historie præget af tilknytningen til kongemagten og områdets hertuger. Nybølgård fik først herregårdsstatus i slutningen af 1500-tallet og har i øvrigt en historie, der er forbundet med den nærliggende Gram. Både Grams og Nybølgårds hovedbygninger har fået deres barokke præg af ejeren Anna Sophie Schack i midten af 1700-tallet, mens Revsøs nuværende hovedbygning er opført omkring år 1800.