I Silkeborg Kommune er der kendskab til ti middelalderlige voldsteder, hvoraf fire er synlige i dag. Herudover findes der omkring en håndfuld lokaliteter, hvor der muligvis har været borgbyggeri i middelalderen. Kun i tre tilfælde har det dog været muligt at datere voldstederne. Fra det i dag oversvømmede Virklund Voldsted i Thorsø er en nedrammet egestolpe blevet årringsdateret til 1333, mens den ældst kendte byggefase af Silkeborg Slots forgænger er dateret til 1380’erne. Endelig er borgen Dynæs tidligst omtalt i 1360. Mange af kommunens øvrige voldsteder stammer sandsynligvis også fra midten af 1200-tallet til sidste halvdel af 1300-tallet, hvor Danmark var præget af uroligheder, borgerkrige og en svækket kongemagt.
De seks herregårde i Silkeborg Kommune har synlige bygningselementer fra middelalderen til omkring år 1900. Heraf er tre, Aunsbjerg, Vinderslevholm og Marsvinslund, bygningsfredede. Alle tre bygninger har dele fra renæssancen. Det er et klart udtryk for det driftige landbrug, at bygningerne blev fornyet i 1700- og 1800-tallet.