Den gamle landsby Kjellerup ses stadig i den vestlige del af byen med sin oprindelige stjerneudskiftning. I 1889 blev den karakteristiske beplantning omkring midtbyen grundlagt, og i dag udgør den en del af Krabbes Grønne Ring.
Kjellerup består af tæt centerbebyggelse omkring landevejskrydset i halvanden til tre en halv etager og med stationsbybebyggelse i halvanden til to etager som fritliggende enfamilieshuse mod syd og øst. Længere mod sydøst ligger større parcelhuskvarterer, hvor den største del af bebyggelsen er opført i årene 1960‑80 i en til halvanden etage.
Torvet, som er byens centrum og giver den et købstadspræg, er opdelt i tre: pladsen omkring det tidligere ting- og arresthus, parkeringspladsen og opholdspladsen ud til vejen. Disse tre pladser er koblet sammen via en akse fra tinghuset til hovedgaden Søndergade. I aksen er placeret et vandbassin og siddemuligheder. Opholdspladsen er omkranset af grøn beplantning, men åbner sig mod Søndergade.
I Østergade 28 står herredsfoged Christopher Krabbes embedsbolig fra 1887, kaldet »Lille Hald«, fordi han opførte huset efter at have arvet Hald Hovedgård i Viborg. Bygningen, der fungerede som dommerkontor indtil 2008, er i dag privat bolig.
Sygehuset i Vestergade 23A og 42C ligger som et bindeled mellem den tidligere landsby og midtbyen. Byggeriet blev opført i 1914 som et monumentalt, aksefast byggeri i historicistisk stil med elementer fra den italienske renæssance. De to bygninger er opført i røde mursten og med røde teglsten på taget. Kjellerup Sygehus skiftede navn til Regionshospitalet Kjellerup i 2007. I dag benyttes bygningerne til sundhedsaktiviteter, liberale erhverv og boligformål.
Jyske Bank i Søndergade 1/Østergade 2 ligger ved Kjellerups centrale landevejskryds. Bygningen fra 1929 er opført i røde mursten og har elementer fra mange forskellige stilperioder. I 2003 og igen i 2012 blev underdelen renoveret, så bygningen i dag fremstår som en helhed med den blanke mur over gadeniveau. Bygningens hjørner er individuelt markerede med tårne og gavle. Facaden er opdelt i flere sektioner, således at den store bygning er tilpasset de omkringliggende bygningers skala.
