Nogle af landskabets hovedtræk blev sandsynligvis allerede grundlagt, inden de store istider satte ind. For ca. 15 millioner år siden var det formentlig spændinger i jordskorpen, som parallelt med nutidens dale skabte dybe sprækker og forsænkninger i dybgrundens overflade. Disse sænkninger fungerede som transportkanaler for floderne, der i Miocæn ledte vandet fra det skandinaviske højland ud til datidens Nordsø. Under istiderne gravede gletsjere og smeltevandsfloder sig ned i resterne af de gamle floddale, så de skar sig 100‑150 m ned i de ældre aflejringer fra Eocæn, Oligocæn og Miocæn. Efterfølgende har is og smeltevand afsat tykke lag af sedimenter på dalbundene. De dale, der under istiden blev videreudformet af smeltevand under isen, kaldes tunneldale. Denne daltype er karakteriseret af en dalbund, hvor sø- og mosefyldte bassiner veksler med højereliggende tærskler.
Da Nordøstisen stod ved Hovedstilstandslinjen vest for Silkeborg, gravede det strømmende smeltevand dale i underlaget under isen. I takt med at Nordøstisen smeltede tilbage fra Hovedstilstandslinjen, kom morænelandet og dalene til syne, og i mange af dalene og rundtomkring i morænelandet blev der efterladt store mængder dødis. Fra gletsjerporte i isens rand strømmede smeltevandet nordpå mod Limfjorden. Det skabte Gudenådalen med en løbsretning vinkelret på de store østjyske tunneldale.
For 19.000 år siden bevægede den efterfølgende Ungbaltiske Is sig ind over Østjylland fra øst og sydøst. Da isen stod med sin rand ved Den Østjyske Israndslinje, var Gudenådalen fortsat dræningsvej for smeltevandet, som dog nu løb til Randers Fjord. Ved Søften løb smeltevandet ud fra isen og fortsatte mod nordvest. Her formede det den smeltevandsdal med brede sand- og grusterrasser, som i dag gennemstrømmes af Lilleå, der løber ud i Gudenå ved Langå. Længere sydpå, ved Yderup vest for Tilst, strømmede smeltevand fra isen ud over det lave område, der strækker sig vestpå til Låsby Stationsby i Skanderborg Kommune og i dag gennemstrømmes af Lyngbygård Å. Her blev smeltevandet stemmet op mellem isen mod syd og det jævne, højtliggende landskab mod nord. Det skabte en lang, smal issø med afløb videre mod vest gennem morænelandet til Gudenådalen ved Resenbro i Silkeborg Kommune.
Vest for Den Østjyske Israndslinje, som bugter sig gennem den nordlige og vestlige del af kommunen, kan man se Nordøstisens jævne, storbølgede morænelandskab, bl.a. omkring Hårup og Mejlby. Øst for israndslinjen er landskabet derimod småbakket med mange afløbsløse lavninger med småsøer, hvilket bl.a. kan ses sydvest for Løgten. Det småbakkede landskab vidner om, at Den Ungbaltiske Is efterlod et bredt bælte med stilleliggende dødis langs Den Østjyske Israndslinje. Dødisen var dækket af jord, og i det kolde klima kunne den ligge begravet i flere tusinde år. Under den efterfølgende temperaturstigning smeltede dødisen dog gradvis bort og efterlod en småbakket dødismoræne hen over Nordøstisens jævne, bakkede morænelandskab. Kun få steder i kommunen ledsages Den Østjyske Israndslinje af egentlige randmoræner. De kan dog bl.a. ses ved Vorre med Kampehøj på 116 m og i form af bakkeryggen ved Todbjerg, der kulminerer i Møllebakke på 102 m.
Inden isen slap sit tag i Aarhus Kommune, havde den flere genfremstød. Herved blev den imponerende randmoræne Jelshøjbuerne med Holme Bjerge og Skåde Bakker dannet. Et efterfølgende genfremstød skabte desuden bakkelandet, som strækker sig fra Malling Bjerge og videre sydpå. Den snævre, dybe Jeksendal, der skærer sig nordpå gennem morænelandet fra Stilling nær Skanderborg til den dybe, brede tunneldal med Århus Å syd for Harlev, menes at være dannet som en erosionsdal i slutningen af istiden. Den gennemstrømmes i dag af Jeksen Bæk.
I Atlantisk tid trængte Littorinahavet (Stenalderhavet) ind i Århus Bugt og videre ind i Kalø Vig. Herfra fortsatte det op til Lisbjerg-Terp i den østlige del af Egådalen og helt ind til Skibby oppe i Århus Ådal. Tilsvarende blev de lavtliggende områder i dalen ved Norsminde forvandlet til en fjord med forgreninger, der strakte sig ind til Assedrup. Havets brændingsbølger skabte kystklinter i fremspringende punkter på bakkelandets kyster. I dag fremstår de som tilgroede skrænter, der hæver sig stejlt op over en smal bræmme af marint forland. Det ses fx ved de imponerende kystskrænter i Skåde Bakker og ved Ris Skov. Når stormvinde rasede fra østlig og sydøstlig retning, skabte det lange, frie stræk gennem åbningen mellem sydspidsen af Mols og nordspidsen af Samsø kraftige bølger, som siden stenalderen netop har ramt denne kyststrækning. Langs kysten i Kalø Vig opstod en kystklint i Vosnæs Pynt øst for Løgten. På grund af højtliggende forekomster af ler fra Eocæn og Oligocæn kan man se spor efter skred flere steder i de skov- og kratklædte kystskrænter.
Under istiden havde vægten af de enorme ismasser presset jordskorpen ned, og da isen smeltede tilbage, begyndte landet derfor at hæve sig. Selv om Danmark i Atlantisk tid havde været isfrit i mere end 10.000 år, hævede landet sig stadig. Mod slutningen af Atlantisk tid dominerede landhævningen i den nordlige del af Danmark, og de kystnære dele af Littorinahavets bund blev til tørt land, såkaldt marint forland. Siden Atlantisk tid har landet i Aarhus Kommune hævet sig 2,5 m over nuværende havniveau, og istidslandskabet ud mod Århus Bugt og Kalø Vig kantes derfor af en smal bræmme af marint forland. Derudover betød landhævningen, at de tidligere fjorde blev til ådale med vidtstrakte mose- og engdrag. Bølger har opbygget strandvolde og skabt Vejlby Fed ved Egådalens munding, der i dag er beskyttet mod oversvømmelse af diger anlagt på de hævede strandvolde.
