Silkeborgs arkitektoniske fremtræden er resultatet af en vedvarende byggeproces, og bybilledet har siden byens grundlæggelse været under konstant forandring. Der er ikke mange stilmæssigt sammenhængende facadeforløb eller gaderum præget af ensartede arkitektoniske udtryk. Men byen fremstår til gengæld som en levende fortælling om de mange idealer og stilarter, der har vekslet gennem årene fra 1846 til nu.
Torvet, der lige fra Silkeborgs grundlæggelse har været omdrejningspunktet for livet i byen, ligger omgivet af markant bebyggelse. I den østlige ende ligger Silkeborg Kirke som point de vue for enden af Vestergade. I den vestlige ende ligger det gamle rådhus, inspireret af nederlandsk renæssance og opført i 1857 af Hans Chr. Zeltner. Ud til Torvet ligger også det klassicistiske Hotel Dania, som blev opført i 1848 og ombygget i 1916 med en overetage i nationalromantisk bindingsværk af Thorkel Møller. Torvet blev renoveret og omlagt 2016‑17 i forbindelse med etablering af et parkeringsanlæg under pladsen. Den nye plads er tegnet af Schønherr A/S med inspiration fra kunstneren Asger Jorns formsprog.
Skoletorvet udgør sammen med Bindslevs Plads byens uddannelses- og kulturcentrum. Den første bygning ved Skoletorvet var Th. Langs Skole, opført af Anton Rosen i 1886. Silkeborg Seminarium, der ligeledes er tegnet af Rosen, blev samtidigt opført i torvets modsatte ende. I 1889 blev byens første tekniske skole, tegnet af Edvard Jensen, opført på pladsens vestlige side. De tre bygninger i historicistisk stil repræsenterer forskellige arkitektoniske tendenser inden for italiensk renæssance. Biblioteksbygningen opført 1918-20, i hvis kælder byens badeanstalt blev indrettet, er tegnet af L. Bendixen og binder de to pladser sammen. Bygningen er til- og ombygget mange gange, men fungerer stadig som bibliotek, ligesom badeanstalten også fortsat er i funktion. En bemærkelsesværdigt sammenhængende række ældre etageejendomme afgrænser Bindslevs Plads mod nord. Syd for pladsen er der opført flere nye bygninger i meget forskellige, tidstypiske stilarter, herunder Den Kreative Skole af Årstiderne Arkitekter, indviet i 2008, og Medborgerhuset af KPF arkitekter fra 2010. Mod vest afgrænser CampusHuset pladsen; den nye tilbygning til biblioteket blev indviet i 2018. 2017‑18 blev der etableret parkeringskælder under pladsen, som er omlagt ved LABLANDarchitects.
Byens gamle bygninger er løbende blevet erstattet af nyt og mere tidssvarende byggeri. Rundtomkring i byen findes der dog fortsat enkelte lave gadehuse fra omkring år 1900 og senere. Disse er ofte lidt anonyme med trukne hovedgesimser, pudsede dør- og vinduesindfatninger, blændingsfelter og mønstermurværk. Fra denne tid findes også en række gedigne etageejendomme med facader i blank mur og røde teglstenstage. K.P. Kristiansens eget hus på Christian 8.s Vej 22 fra 1913 er et godt eksempel herpå. Også Edvard Jensens Drewsenshus, der er opført 1910‑11 med historicistiske træk, er typisk for tidens arkitektur. Den gamle bygning ligger i dag side om side med Jobcentret i Silkeborg, opført næsten 100 år senere af Årstiderne Arkitekter.
I byen findes desuden en del bygninger præget af de nationalromantiske strømninger, der gjorde sig gældende omkring århundredeskiftet. Gode eksempler herpå er Hjejlekiosken, Sejsvej 2, opført af Edvard Jensen i 1911, og lyst- og bådehusene ved Remstrup Å.
Toldkammerbygningen på Drewsensvej, tegnet af Hack Kampmann i 1920, er udtryk for en mere nyklassicistisk stil. Bygningen er opført med en stram pudset og malet facade, indrammet af kvaderlisener. Den sene nyklassicisme kommer også til udtryk i Åstiftelsen på Åhavevej 3‑9, opført af Edvard Jensen i 1934.
Kildegården ved Hovedgårdsvej, tegnet af Max Pape i 1940, er med sine pudsede og hvidmalede facader et godt eksempel på funkisstilen. Det samme gælder Østerport på Torvet, tegnet 1939‑40 af Knud Axel Sørensen.
Allerede få år efter byens grundlæggelse begyndte villaerne at skyde op i dens udkant. Drechsels villa på Vestergade 32 fra 1856, tegnet af N.S. Nebelong, og præsteboligen på Vestergade 36, opført i 1858, er gode eksempler på villabebyggelse fra byens første tid. Byggeriet tog dog først rigtigt fart efter århundredeskiftet. Villaerne kom naturligt til at ligge i byens randområder, ud mod søerne og skovene som på Vestergade ned mod Kalgårdsø og på Åhavevej langs Remstrup Å. Her blev der i løbet af 1920’erne og ind i 1930’erne opført en række fornemme villaer i meget individuelle stilarter. En stor del af det ældre villabyggeri bærer præg af Bedre Byggeskiks idealer.
Silkeborg Papirfabriks gamle fabriksanlæg er siden år 2000 blevet omdannet til bydelen Papirfabrikken.
