Kjellerups grundlæggelse kan groft sagt tidsfæstes til d. 8. juni 1869. Denne dato flyttede egnens herredsfogedkontor til den nye korsvej øst for landsbyen Kjellerup (Gl. Kjellerup). Ny Kjellerup voksede op, hvor den nyanlagte landevej Silkeborg-Viborg i 1857 krydsede landevejen Rødkærsbro-Thorning. Kromanden i Gl. Kjellerup flyttede kroen og etablerede sig med købmandsforretning og lægepraksis ved det nye trafikknudepunkt. Herefter gik det slag i slag med det nye bysamfunds udbygning: apotek (1869), posthus (1875), teknisk skole (1890/1893), kommuneskole (1901), vandværk (1905), elektricitetsværk (1905), ting- og arresthus (1909) samt sygehus (1914). I 1912 blev Kjellerup også stationsby med åbningen af jernbanen Rødkærsbro-Kjellerup.
Ny Kjellerup blev i løbet af få årtier til byen Kjellerup ved tilflytning af håndværkere, arbejdsfolk, embedsfolk, handlende, skolefolk m.fl. Byen voksede frem med selvbevidst pionerånd. Kjellerup Håndværker- og Borgerforening, dannet i 1887, var en vigtig aktør i denne udvikling, og med herredsfoged Christopher Krabbe fik byen i perioden 1886‑1909 en fremsynet og energisk foregangsmand. Det resulterede bl.a. i en tidlig form for byplanlægning med etablering af »Foreningen for Plantning ved Kjellerup og Regulering af Byens Bebyggelse« i 1889 og etablering af det anlæg, som i dag er kendt under navnet Krabbes Grønne Ring.
En række større industrivirksomheder åbnede: Kjellerup Vægt- og Maskinfabrik (1916/1919), slagteri (1918) og Kjellerup Kartoffelmelsfabrik (1919), som omkring 1930 blev til maskinfabrikken Hjerm. Kjellerup fik også en række pengeinstitutter: Kjellerup Handels- og Landbrugsbank åbnede i 1917, Kjellerup Sparekasse (1866) omdannedes i 1919 til Kjellerup Bank, og få år efter fik Andelsbanken en filial i byen.
I 1921 lå befolkningstallet i Kjellerup på 1.415. Jernbanen blev i 1924 forlænget til Silkeborg, og byen udviklede sig med bl.a. alderdomshjem (1934), spædbørnehjem, vandrerhjem, stadion (1947), biograf, fjernvarme (1957), museum (1962), Kjelleruphallen (1968), bibliotek og børneinstitutioner. I anden halvdel af 1900-tallet opstod en række virksomheder, bl.a. Kjellerup Tømmerhandel; i 1992 grundlagdes møbelfirmaet DESIGNA.
I 1967 blev Jyske Bank dannet ved sammenlægning af Kjellerup Bank og Kjellerup Handels- og Landbrugsbank med Silkeborg Bank og Handels- og Landbrugsbanken i Silkeborg. Kjellerup udbyggedes fra 1960’erne med store parcelhuskvarterer i byens periferi.
Med det hastigt stigende antal biler forsvandt grundlaget for jernbanen, og Kjellerup-banen ophørte i 1968. Omfartsvejen omkring Kjellerup blev projekteret og taget i brug i efteråret 1973.
I forbindelse med Kommunalreformen i 1970 blev Kjellerup administrativt center i den nye Kjellerup Kommune, og i 1977 indviedes rådhuset. Befolkningstallet voksede fra 3.245 i 1970 til 4.414 i 2006. I 2005 indviedes kulturhuset Mosaikken midt i byen. Tidens centralisering fik alvorlige følger for flere af Kjellerups grundlæggende institutioner. Således nedlagdes dommerkontoret med udgangen af 2006, og kommunens største arbejdsplads, sygehuset, blev afviklet frem mod 2010.
