Sorø er Hvideslægtens hjemegn. Omkring 1130 opførtes Fjenneslev Kirke, hvilket har givet ophav til sagnet om kirkens to tårne. Sagnet fortæller, at Asser Rig, inden han drog i krig, aftalte med sin hustru, Inge, at hun skulle bygge kirken færdig. Hvis de fik en søn, skulle hun sætte et tårn på kirken, fik de en datter, skulle hun sætte et spir. Da han vendte hjem fra krigen og på lang afstand så de to tårne, vidste han derfor, at hun havde skænket ham to sønner, Esbern og Absalon. Asser Rig og hans to brødre grundlagde i 1142 et kloster, der siden udviklede sig til et omfattende lærdomscentrum.
Sorø Akademi har haft afgørende betydning for Sorøs udvikling og traditioner. Akademiets fester, der har været afholdt hvert år siden 1827, åbnes med indmarch og engelsk vals. Festerne benævnes vandbal for elever i 1. g og kongebal for 3. g’erne. Ballerne har altid været en lokal begivenhed, og før der blev optaget piger på akademiet, blev byens piger inviteret med som ledsagere. I dag er der blandt eleverne langt flere piger end drenge. Desuden fejrer akademiet Ludvig Holbergs fødselsdag 3. december med splitflag og forestilling i Det Kongelige Teater, da Holberg testamenterede gods og samlinger til akademiet. Siden 1866 har akademiets elever på Store Plads spillet cricket og siden 1878 fodbold. »Overskæringen« er en anden fast tradition, hvor der er fakkeltog.
Lokale højtider og byfester med stor opbakning fra handelsstand, kulturinstitutioner og foreninger er halloween og kulturnatten Kyndelmisse Lysfest, hvor bl.a. Akademihaven udsmykkes med lys af frivillige. Siden 2005 er afholdt Klassisk Køredag, hvor veteranbiler fra hele landet mødes grundlovsdag med op til 20.000 besøgende. Tursejlads på Sorø Sø, bl.a. med afstigning ved Parnas Natur & Aktivitetspark, hører også med til sommerens højdepunkter.
