I Skanderborg Kommune er der kendskab til fem middelalderlige voldsteder, hvoraf kun Troldhøj, Voldhøj og Skanderborg Slot er synlige i dag. Kirken, især cistercienserklosteret i Øm, ejede meget jord i området. Herudover var kongemagten også en dominerende godsejer. Af samme årsag blev der ikke anlagt ret mange voldsteder her. Fælles for disse er deres placering i fugtige eller sumpede områder. Placeringen af borgene er valgt for at opnå en forsvarsmæssig fordel ved at begrænse adgangsforholdene til den enkelte borg.
Der er seks herregårde i Skanderborg Kommune i dag. To af dem, Tammestrup og Wedelslund, er klassicistiske, mens fire, Kalbygård, Sophiendal, Nissumgård og Herschendsgave, er senere historicistiske bygninger, der henter inspiration fra både tidligere klassicistiske strømninger og tidligere historiske perioder som nordeuropæisk renæssance og barok.
