Af de fem registrerede borge og voldsteder i Sorø Kommune er kun Pedersborg ved Sorø et regulært fæstningsanlæg.
Der er syv herregårde i Sorø Kommune. Vedbygård i Ruds Vedby er en senmiddelalderlig herregård, hvis befæstning formodentlig kun havde til formål at holde oprørske bønder på afstand. Trods ombygninger er Vedbygård i dag et velbevaret anlæg. Ved Dianalund ligger herregården Tersløsegård med sin bindingsværksbygning fra 1700-tallet. Den er i dag kendt som en af den dansk-norske forfatter Ludvig Holbergs herregårde og huser Ludvig Holberg Museet. Herregården Ødemark ligger nordvest for Sorø med en hovedbygning fra 1880. Herregårdene Hellestrupgaard, Niløsegård og Sorø Store Ladegård er fælles om at have hørt under Sorø Akademi; godset Mørup gør det fortsat.
I nordenden af Pedersborg Sø ligger voldstedet Pedersborg, som består af et næsten 4 ha stort areal omkranset af en halvkredsvold ud mod søen. I midten af volden findes Borgbanken, en 15 m høj naturlig bakke med meget stejle sider, hvorpå sognets 1300-tals kirke og kirkegård i dag ligger. I 1205 overgik Pedersborg til Sorø Kloster, ombygget til en ladegård, og rundkirken blev erstattet med den nuværende kirke.
Ved Ruds Vedby vest for Dianalund ligger Vedbygård på et næs, der har skudt sig ud i den drænede Dragsø. Det nuværende herregårdsanlæg ligger på et ca. 54 x 60 m stort rektangulært voldsted omgivet af en vandfyldt voldgrav med lodrette sider i kampesten. Vedbygård har siden 2018 været ejet af Boda Estate ApS ved Dan Svenningsen.
