Megen aktivitet i byen har været knyttet til Sorø Akademi, og det kan ses af Den gamle Kro, nu Sorø Museum på Storgade, som blev opført af Christian 4. 1624‑25 og senere anvendt til professorboliger. Bindingsværksbygningen er i 15 fag og to stokværk og fremstår med sortmalet træværk og rødkalkede tavl. To mindre sidefløje er fra 1899‑1900 af F.C.C. Hansen. Andre bevarede og ligeledes fredede bindingsværksbygninger er Scavenius’ Stiftelse, Torvet 8/Søgade 2, fra 1680 og Regensen, Torvet 7, fra 1700-tallet. Længere nede ad Storgade, i nr. 7, ses De Unge Herrers Gård, nu bibliotek, som er opført 1623‑25 til brug for Christian 4.s sønners indkvartering under deres studietid ved akademiet. Bindingsværksfacaden mod gaden er skalmuret i barokstil fra ca. 1750. Bygningen er også fredet. Urnes Gård, Søgade 9‑11, fra 1802 er en ligeledes fredet længe i nyklassicisme, og denne stil præger også den store, 17 fag lange tidligere Syge- og Arbejdsanstalt på Alléen 14 fra 1839‑41.
F.C.C. Hansen har også stået for en række offentlige bygninger i Sorø i historicistisk stil, fx den tidligere Tekniske Skole, Alléen 1/Frederiksvej 2, fra 1888, der ligner et italiensk palads. Med tiden gik han over til nationalromantikken, hvilket ses af bl.a. det pittoreske tidligere Amtssygehus fra 1901‑03 langs Alléen (nu Sorø Sundhedscenter) på Dr. Kaarsbergsvej 5 og den tidligere Haandværker- og Landbobank, Storgade 42, fra 1916‑17. Christian Hansen tegnede facaden på Storgade 12, Sorø Spare- og Laanekasse, fra 1879 i florentinsk stil med murværk af groft tilhuggede kvadersten, såkaldt rustika, mens resten af bygningen er tegnet af C.J. Nissen. Hovedværket fra historicismen i byen er det toetages, syv fag lange Ting- og Arresthus, Torvet 2, fra 1880‑81 af Vilhelm Tvede i nygotik med kamtakkede gavle og spidsbuede vinduer. Det står i rød blankmur og krones af et saddeltag tækket med skifer. Bygningen er fredet og ejes af Realdania By & Byg. Vænget, Søgade 17A, er opført i 1902 som en imposant, hvidpudset nationalromantisk villa med tårn, karnapper og bindingsværksdetaljer, til den stedlige amtmand og amtsadministrationen.
Den nyklassicistiske Storgade 24, tidligere Banken for Sorø og Omegn, er tegnet af Algot Lautrup-Larsen 1924‑25. Den ligeledes nyklassicistiske Storgade 9 er opført 1832‑34 som godsforvalterbolig, muligvis af Frederik Ferdinand Friis, og huser nu Sorø Kunstmuseum. Den fredede gård blev i 2011 udvidet med en tilbygning af Lundgaard & Tranberg Arkitekter.
