Landskabet i Skanderborg Kommune blev overvejende formet af is og smeltevand under sidste istid. Mens størstedelen af kommunen udgør den østlige del af Det Midtjyske Søhøjland, er området omkring Herskind og Galten i nord en del af de vidtstrakte bølget-bakkede morænesletter, som kendetegner Østjylland. Det Midtjyske Søhøjland er et varieret landskab, som strækker sig sydpå fra Silkeborgegnen til Tørring i Hedensted Kommune. Mellem Hovedstilstandslinjen i vest og Den Østjyske Israndslinje i øst gennemskæres det af dybt nedskårne dale med et utal af aflange søer, hvilket gør Det Midtjyske Søhøjland til et af de mest storslåede istidslandskaber i Danmark. Blandt de største dale er den brede dal, der rummer Skanderborg Sø, Mossø og Salten Langsø, og som sammen med andre markante dale ender ved Hovedstilstandslinjen nær Vrads Sande og Sepstrup Sande i Silkeborg Kommune. Nord for Skanderborg løber Illerup Ådal, der mod vest slutter sig til Mossø-Salten Langsø-dalen og mod øst hænger sammen med dalstrøget med Stilling og Solbjerg Søer og Pilbrodalen, der kan følges fra sydenden af Solbjerg Sø til sydsiden af Stilling Sø. Få kilometer længere mod nord ligger desuden et stort dalstrøg med Ravnsø, Knudsø, Birksø og Julsø. Denne dal ender ved Hovedstilstandslinjen ved den genskabte Bølling Sø. En af de største dale ligger i den vestlige del af kommunen. Den gennemstrømmes af Danmarks længste å, Gudenå, der forbinder mange af søerne i Det Midtjyske Søhøjland.
De dybe, overvejende øst-vest-orienterede dale har ofte stejle, 30‑100 m høje dalsider, der gennemfures af skarpe kløfter, som flere steder har skåret sig langt ind i det tilgrænsende moræneland. Kløfterne ligger ofte så tæt, at kanten af moræneplateauet danner et erosionsbakkeland af talrige falske bakker. Blandt de bedst kendte eksempler er Himmelbjerget syd for Julsø samt den sydlige dalside ved Ravnsø og Knudå.
Landskabet mellem dalene består af jævne, bakkede moræneplateauer, hvor store områder ligger mere end 90‑100 m.o.h. På grænsen til Horsens Kommune kulminerer det i Ejer Bjerge med en række af Danmarks højeste punkter som Yding Skovhøj og Ejer Bavnehøj samt Møllehøj, der med 170,86 m.o.h. er Danmarks højeste punkt. Omkring Herskind og Galten i nord er de jævne bakker orienteret nordøst-sydvest. Andre steder som syd for Stjær og øst for Skanderborg og Tebstrup er landskabet småbakket med talrige lavninger og småsøer.