Nogle af hovedtrækkene i Silkeborg Kommunes landskab blev sandsynligvis allerede grundlagt, inden de store istider satte ind. For ca. 15 mio. år siden skabte spændinger i den stive jordskorpe formentlig dybe sprækker og langstrakte forsænkninger i dybgrundens overflade. Disse sprækker og forsænkninger blev forløbere for nutidens dale.
Før istiderne ledte de dybe sprækker og sænkninger vand fra det skandinaviske højland ud til datidens Nordsø. Senere, under istiderne, gravede gletsjere og smeltevandsfloder i de gamle floddale, så de blev eroderet 50‑100 m ned i de ældre aflejringer. Efterfølgende aflejrede is og smeltevand tykke lag af sedimenter i dalbundene. I den seneste del af sidste istid foregik disse processer inde under Nordøstisen, mens den dækkede Østjylland.
Uanset om dalene blev grundlagt ved bevægelser i jordskorpen eller som floddale før istiderne, beskrives de som tunneldale, dvs. dale, som er dannet af smeltevand inde under isen. Tunneldalene har ofte en bund, som veksler mellem sø- og mosefyldte bassiner og højereliggende tærskler. Dalene betegnes derfor også som sødale. Smeltevandet bidrog til udformningen af dalene, da det på sin vej ud mod Nordøstisens rand ved Hovedstilstandslinjen udgravede dybe strømlejer under det enorme isdække.
Inden Nordøstisen nåede frem til Hovedstilstandslinjen, aflejrede smeltevandsløb tykke lag af sand og grus på en vidtstrakt slette foran den fremrykkende is. Sandet og gruset kan i dag genfindes i talrige grusgrave i Østjylland. På vejen mod Hovedstilstandslinjen overskred Nordøstisen sin egen flodslette og aflejrede moræne hen over sandet og gruset.
Da Nordøstisen stod ved Hovedstilstandslinjen, havde smeltevandet, der strømmede ud fra gletsjerportene i isens rand, frit løb mod vest. De mange strømløb aflejrede sand og grus ud over de lavereliggende dele af det landskab, som var blevet skabt under næstsidste istid, Saale. Fra en gletsjerport ved Engesvang fossede smeltevandet nord om Bording Bakkeø og skabte store dele af Karup Hedeslette. Med tiden dannede det den brede, fladbundede floddal, som i dag udgør Karup Ådal. Længere sydpå strømmede smeltevandet ud fra en gletsjerport ved Sepstrup og løb syd om Bording Bakkeø. Her opbyggede det den del af Karupfladen, som afvandes af Storå. Andre strømløb skabte hedesletten Vrads Sande, hvor tilgroede småklitter og rester af smeltevandsterrasser bryder det jævne slettelandskab.
I takt med Nordøstisens tilbagesmeltning fra Hovedstilstandslinjen kom morænelandet og dalene til syne. Foran den vigende is blev der efterladt store mængder dødis. Da dødisen smeltede, opstod det karakteristiske, småbakkede dødislandskab, som man i dag kan opleve i egnen mellem Thorning og Silkeborg. Samtidig blev der åbnet nye veje for smeltevandets afstrømning, som nu gik i nordlig retning mod Limfjorden. Ligesom andre floder fulgte smeltevandsstrømmene de eksisterende lavninger i det isfri landskab og udformede brede, fladbundede dale. Derved opstod Gudenådalen med en løbsretning vinkelret på Mossø-Salten Langsø-dalen og de andre store tunneldale. Da den efterfølgende Ungbaltiske Is stod med randen ved Den Østjyske Israndslinje, var Gudenådalen fortsat dræningsvej for smeltevand. Nu løb smeltevandet dog til Randers Fjord, hvor Gudenå også i dag har sit udløb.
Nordøstisens efterladte dødis blev flere steder dækket af smeltevandssand og -grus. Ved den efterfølgende smeltning sank lagene sammen, så der opstod huller af forskellig størrelse. De største dødishuller rummer i dag bl.a. Salten Langsø og Mossø. Tilsvarende lå der dødis, som ved bortsmeltning skabte søbassinet med den nu genoprettede Bølling Sø. Navnet Bølling er internationalt kendt blandt geologer, fordi Bølling Sø har lagt navn til Bøllingtid, som var en varmeperiode i slutningen af sidste istid for 14.700‑14.050 år siden.
I Gudenådalen viser sand- og grusterrassernes forskellige højder, at smeltevandsstrømmene skiftede forløb flere gange under sidste istid. Når smeltevandet fandt en kortere vej ud til havet, eller når spærrende isblokke smeltede, skar vandstrømmen sig ned i sine tidligere aflejringer og dannede en ny dalbund på et lavere niveau. Rester af de tidligere dalbunde ligger flere steder tilbage som terrasser langs dalsiderne eller som »øer« med en plan overflade ude i dalen. Smeltevandsdale af denne type kaldes terrassedale eller »dal-i-dal«-dale. Der skelnes mellem tre stadier i udviklingen af Gudenådalen: Faldborgstadiet, hvor smeltevandet fulgte Faldborgdalen, som i dag udgør det fladbundede dalstrøg forbi Rødkærsbro i Viborg Kommune; Skalsåstadiet, hvor smeltevandet fandt afløb til Hjarbæk Fjord gennem Nørreådalen og Skalsådalen, samt Randers Fjord-stadiet. De to første stadier er knyttet til den vigende Nordøstis, mens det tredje og sidste stadie stammer fra den tid, hvor Nordøstisen var smeltet bort, og den Ungbaltiske Is stod ved Den Østjyske Israndslinje øst for Gudenådalen. Centralt i Gudenådalen har dette stadie flere steder efterladt brede terrasser og terrasseøer i højder på 40‑45 m.o.h. Et efterfølgende afløb, også til Randers Fjord, har skabt den lavtliggende terrasse i 30 m.o.h., som byen Silkeborg er anlagt på.
