I nordenden af Pedersborg Sø ligger voldstedet Pedersborg, som består af et næsten 4 ha stort areal omkranset af en halvkredsvold ud mod søen. I midten af volden findes Borgbanken, en 15 m høj naturlig bakke med meget stejle sider, hvorpå sognets 1300-tals kirke og kirkegård i dag ligger. Volden mentes tidligere at være fra 600 f. Kr., da der er fundet bebyggelse derfra. Dog er den sandsynligvis fra samme periode som resterne af en kampestensborg og rundkirke på Borgbanken fra ca. 1150‑75.
Borganlægget menes at være anlagt af stormanden Peder Thorstensen, som ud over at være hærfører for kongerne Svend Grathe og Valdemar den Store var gift ind i Hvideslægten.
Halvkredsvoldens størrelse og kirkens beliggenhed peger på, at volden var en befæstning af Pedersborgs ældste bydannelse, mens Borgbanken udgjorde stedets egentlige borg. I 1205 overgik Pedersborg til Sorø Kloster, ombygget til en ladegård, og rundkirken blev erstattet med den nuværende kirke.
