Byens historie er tæt knyttet til borgen Skanderborg, der stammer fra 1100-tallet. Borgen, der blev anlagt på en holm ved Skanderborg Sø, fik navn efter den nærliggende landsby Sklandethorp (Skanderup).
Frederik 2. udbyggede i anden halvdel af 1500-tallet borganlægget til et renæssanceslot. Landsbyen Skanderup kom til at stå i skyggen af den nye bebyggelse, der opstod tættere på slottet, og d. 28. oktober 1583 skænkede kongen denne by købstadsrettigheder.
I 1600-tallet blev byen og slottet befæstet, men blev alligevel besat flere gange. Skanderborg blev i 1720 hovedsæde for Skanderborg Rytterdistrikt med 250 militærfolk, hvilket gav vækst til byen. I 1767 blev Skanderborg Slot sat på auktion og siden delvis nedrevet. Byen svandt ind, og i 1787 lå befolkningstallet på 573 indbyggere. Handelen var beskeden, og der var kun mindre håndværksvirksomheder og købmandsgårde. Eneste større virksomhed omkring 1850 var et dampbrænderi.
I midten af 1800-tallet fik den hensygnende købstad nye muligheder, for i 1830’erne anlagdes den østjyske landevej gennem byen, og i 1868 førtesjernbanen Aarhus-Fredericia over Skanderborg. Selv om stationen lå i nabokommunen Skanderup, skabte den forbedrede infrastruktur øget vækst i både befolkningstal, industri og generel aktivitet. En ny kommuneskole åbnede på byens torv i 1858, og i 1860 stod et nyt rådhus klar lige ved siden af. Et nyt amtssygehus blev indviet i 1892.
Anlæggelsen af jernbanen skete til dels med arbejdskraft fra England, som bragte cricketspillet med sig; det førte i 1898 til stiftelse af Skanderborg Boldklub. I 1880’erne blev hovedgaden Adelgade brolagt, og i 1892 kom der gadebelysning i form af gaslamper med gas fra byens nye gasværk. Der blev anlagt nye veje mellem den gamle bydel og stationen, især for at skabe boliger til jernbanens personale, som fik hovedkvarter i Skanderborg.
I 1855 lå befolkningstallet på 1.271, og dette tal var i 1901 vokset til 2.721. Der var bl.a. skoler, to sparekasser, et andelsslagteri fra 1890 og Fællesmejeriet Nonnebjerg, der blev etableret i 1896. I midten af byen åbnede maskinfabrikken A. Blom & Søn i 1882, og den blev byens største virksomhed.
Skanderborg var kendt for sine store hestemarkeder. I årene 1928‑35 blev der holdt årlige ungskuer for landbrug og fødevarer, og landsudstillingen i 1937 havde 130.000 besøgende.
Under Besættelsen var tyske tropper indkvarteret på de fleste af byens hoteller, og fra foråret 1944 blev Dyrehaven afspærret og omdannedes til administrativt hovedkvarter af det tyske flyvevåben, Luftwaffe.
I 1950 var befolkningstallet nået op på 5.857, og i løbet af 1960’erne begyndte en udstykning til erhverv og boliger i området Højvangen, nordøst for byen.
Motorvej E45 blev i 1977 ført forbi Skanderborg, hvilket forstærkede udviklingen. Med E45’s udbygning op gennem 1980’erne og 1990’erne voksede erhvervsområderne nordøst for byen, og i 00’erne indledtes også udstykning af boligområder i Skanderborg Bakker med udsigt over Skanderborg Sø. I 1980 blev det nye butikscenter Dagmar Centret indviet. Befolkningstallet voksede fra 11.344 i 1970 til 13.423 i 2006.
