Landskabet i Horsens Kommune blev hovedsagelig dannet af is og smeltevand under sidste istid og udgøres i vid udstrækning af det bølgede, højtliggende moræneland, som er så typisk for Østjylland. Området vest for Østjyske Motorvej ligger i Det Midtjyske Søhøjland, hvor store dele af landskabet når højder på mere end 100 m.o.h. Nær grænsen til Skanderborg Kommune kulminerer det kuperede landskab i kommunens højeste naturlige punkt, Yding Skovhøj på 170,77 m. I den østlige del af kommunen ligger landskabet noget lavere. Flere steder langs Den Østjyske Israndslinje har isranden dog sat spor i form af bakker. Fra Løsning i Hedensted Kommune løber en bakkeryg således i en stor bue vest om Bygholm Å-lavningen og videre forbi Hvirring til Molger i Horsens Kommune. Herfra fortsætter den forbi Nim og Vestbirk i endnu en stor bue uden om Store Hanstedå-lavningen. Videre østpå forbi Østbirk og syd om Ejer Bjerge i Skanderborg Kommune afløses bakkeryggen af et småbakket landskab med søer i de talrige afløbsløse lavninger. Nord for Horsens Fjord ligger et strøg af parallelle bakker, der kulminerer i den 98 m høje Højås øst for Tvingstrup. Syd for Horsens Fjord mødes man i stedet af et jævnt morænelandskab i 50‑60 m.o.h. På grænsen til Hedensted Kommune stiger landskabet dog stejlt op til Purhøj 122 m.o.h. i bakkepartiet Bjerrelide.
Det højtliggende morænelandskab gennemskæres af dybe, nærmest parallelle dale. Blandt de største er den kilometerbrede dal, hvis østligste, havdækkede ende udgør Horsens Fjord. Mod nordvest fortsætter den i dalstrøget med Store Hanstedå, Ring Sø, Bryrup Langsø, Kvindsø og Kulsø for sammen med andre markante dale at ende helt ude ved Vrads Sande i Silkeborg Kommune. Nordligst i Horsens Kommune ligger desuden den brede dal, der rummer Mossø og Salten Langsø, og langs grænsen til Ikast-Brande Kommune løber Mattrup Ådal, som ud over selve Mattrup Å også huser Halle Sø og Stigsholm Sø. Syd for Store Hanstedådal ligger en dal med Bygholm Å og den opstemmede Bygholm Sø. En femte dal er Gudenådalen, der fra syd til nord løber igennem kommunen med en retning, som ligger vinkelret på de andre store dale. Mange steder har vandløbserosion skabt kløfter i de stejle dalsider og skåret i det tilgrænsende moræneplateau. Hist og her har erosionen været så effektiv, at plateaufladen helt er forsvundet. Det er fx tilfældet ved Sukkertoppen, som med sine 108 m.o.h. hæver sig højt over Gudenå og Mossø.