»Sorø er det eneste Sted, hvor der findes berømte Mænd i Danmark«. Sådan indledte kritikeren P.L. Møller sin artikel »Et Besøg i Sorø« (i tidsskriftet Gæa, 1846), hvor han også kunne fortælle, at middelalderens berømteste poet, Saxo Grammaticus, i Sorø havde digtet i en celle, som endnu forevises. Da Sorø Akademi blev oprettet i 1623, blev det et samlingspunkt for litterært interesserede. I 1660 opnåede den lærdeste af tidens »lærde damer«, Birgitte Thott, legatbevilling til ophold på akademiet.
Rimsmeden C.F. Wadskiær skrev i 1747 i anledning af Frederik 5.s og dronning Louises salving digtet »Poetiske Reflexioner. Fra den berømte Philosophiske Gang paa Sorøe«. Her påkalder han de »Soröe omzinglende Skove«, de »Soröe omcirklende Søer« og de »Soröe udzirende Møer«. Omtrent på samme tid kom Ludvig Holberg til Sorø, hvor han blev den egentlige grundlægger af Sorøs litterære ry. I 1745 købte han Tersløsegård, hvor han boede indtil sin død i 1754 i hovedbygningen, der nu er indrettet som museum. Ved Holbergs mellemkomst blev Jens Schelderup Sneedorff ansat ved akademiet, hvor han markerede sig som en af oplysningstidens skarpeste forfattere.
I 1841 besøgte Christian 8. Sorø, og betaget af stedet erklærede han, at hvis han var digter, ville han opslå sin bolig her. Fem år senere kunne P.L. Møller i førnævnte artikel rapportere, at byen består af en gade, og at »Længst nede i Gaden concentrerer Berømtheden sig ligesom i en stor Bunke«. Hertil kunne han have føjet den egensindige Christian Hviid Bredahl, som på den anden side af Sorø Sø måtte hutle sig igennem som bonde, alt imens han forsøgte at gøre litterær karriere.
På dette tidspunkt var B.S. Ingemann stedets største berømthed, men op gennem guldalderen var adskillige berømtheder knyttet til stedet: forfatteren Carsten Hauch, kritikeren Peder Hjort, Homer-oversætteren Christian Wilster, forfatteren Carl Bagger og H.C. Andersen. Bagger og Andersen blev venner, men ikke enige om Sorøs fortræffelighed: Andersen fik associationer til italienske landskaber som Lago Maggiore, Bagger til blindtarme! For Andersen var stedets store berømthed med til at løfte oplevelsen: I Mit Livs Eventyr (1855) skriver han: »Lykkeligst var jeg, naar jeg en enkelt Søndag i Sommertiden kunde gjøre en Vandring til Sorø, og her besøge Digteren Ingemann, der var Lector ved Academiet og nylig gift med Frøken Mandix«.
En menneskealder senere var Sorø Akademi igen et litterært kraftcenter. Sophus Schandorph skrev i 1872 Gamle og nye Soranersange og i 1888 novellesamlingen Fra Isle de France og fra Sorø Amt. Herman Bang føjede minder fra sin tid på akademiet ind i debutromanen Haabløse Slægter (1877). Uden for akademiet bragte distriktslægen og forfatter Hans Kaarsberg de nye strømninger og i det hele taget den store verden til Sorø. Selv om han blev berømt for sine rejseskildringer fra de russiske stepper, indledte han sine Memoirer (1921) med en lovprisning af Sorø Amt. Hans Kaarsberg blev senere en slags forlæg for hovedpersonen i Ida Jessens roman Doktor Bagges Anagrammer (2017).
Litteraturforskeren Vilhelm Andersen, der også var soraner, skrev i 1936 om akademiets bidrag til dansk åndsliv – og akademiet fortsatte med at præge dette åndsliv op gennem 1900-tallet. Forfattere som Hans Kirk, Fredrik Nygaard og Jørgen- Frantz Jacobsen trådte deres barnesko på Sorø Akademi. Kirk oplevede det, som skildret i Skyggespil (1953), som »en landsforvisning«, hvorimod Nygaard inspireredes til ungdomsbogen Kappestrid: En Kostskolefortælling om Far og Søn på Sorø Akademi (1946). Klaus Høeck, der i 1957 dimitteredes fra akademiet, har i flere af sine digtsamlinger strejfet sine minder fra Sorø, fx i Palimpsest over et århundrede (2008), hvor han spørger, hvad de mon betød, de mystiske hieroglyffer, som ridsedes ind i isen, når de stod på skøjter på Sorø Sø.
