Den borg, der har givet navn til Skanderborg, blev i løbet af middelalderen en af rigets vigtigste kongeborge. Den stående slotskirke er den sidste rest af Frederik 2.s ombygning af middelalderborgen til et moderne renæssanceslot, og af de middelalderlige bygninger er intet tilbage. Også hvad angår selve voldstedet, holmen, hvorpå anlægget blev opført, er en del ændret siden borgens tid.
I 1100-tallet var der en kongsgård ved landsbyen Skanderup. Muligvis er også borgen Skanderborg anlagt af kong Valdemar den Store på dette tidspunkt. Den blev opført på en ca. 10 m høj holm mellem Skanderborg Sø og Lillesø. Placeringen var velvalgt, ikke kun fordi søerne kom til at virke som en naturlig voldgrav, men også fordi det gav mulighed for at kontrollere trafikken ved et vigtigt færdselsknudepunkt. Her var nemlig en af de få naturlige passager for den nord-sydgående trafik gennem områdets mange søer og vådområder.
Den ældste del af borgen menes at være »Det hvide tårn«, der kendes fra afbildninger af Skanderborg fra 1700-tallet, og som blev nedrevet i 1767. Ved Nationalmuseets udgravning i årene 1924-25 blev der fundet fundamentrester af tårnet, som havde en rombisk grundplan med sider på 11 m. Tårnet havde 2,5 m tykke mure bygget af munkesten og frådsten og havde to kælderstokværk, hvorover der var yderligere tre. Senere er borgen blevet udbygget med en stærk ringmur mod nord, vest og syd og med bygninger langs indersiden.
Borgen optræder i skriftlige kilder fra midten af 1200-tallet, og den nævnes flere gange i forbindelse med belejringer i 1300-tallet, bl.a. i 1340 og 1368, hvor kong Valdemar Atterdag, der sad på borgen, modstod en belejring fra en oprørshær bestående af danskere og holstenere.
I 1400-tallet var Skanderborg i en periode pantsat til Aarhusbispen, men ellers var slottet en yndet residens for de danske konger, der hyppigt forlenede det til rigets mest betydningsfulde mænd.
I 1500-tallet blev anlægget udbygget ad flere omgange. Christian 3. fik udført flere bygningsarbejder på slottet, men Frederik 2., der opholdt sig meget på slottet, stod for de største ændringer. I perioden 1561-72 lod han anlægget befæste og udbygge med en ny stor hovedbygning mod øst, i hvis sydlige halvdel det endnu bevarede slotskapel blev indrettet.
Christian 4. styrkede ligeledes slottets forsvar, men efter indførelsen af enevælden i 1660, hvor det blev lensslot for amtmanden over Skanderborg og Åkær Amter, blev kongernes besøg på slottet sjældnere, og det begyndte at forfalde.
Den sidste store ændring stod Frederik 4. for i årene 1717-22. Gennem en markant reduktion af slottets dimensioner, som kun lod den østlige hovedfløj og »Det hvide tårn« tilbage, blev det omdannet til et trefløjet lystanlæg med en vestvendt åbning mod en park og dyrehave.
I 1767 blev lenets ryttergods opløst, og den administrative nødvendighed for det store anlæg bortfaldt. Slottet blev solgt til nedrivning med undtagelse af de fire østre fag, der var indrettet til kirke. Tilbage står nu kun slotskapellet, der er et af de tidligste eksempler på et luthersk slotskapel.
