I det kuperede landskab på tværs af grænsen til Kalundborg Kommune ligger den 192 ha store Skarresø, der i Salmonsens Konversationsleksikon, 2. udgave, omtales som »en af Danmarks skønneste Søer, omgiven af stærkt bakkede Partier og næsten helt omkranset lige til Bredderne af store Skove«.
Den lavvandede sø har en middeldybde på 2,6 m og en størstedybde på 4,1 m med et samlet opland på 23,84 km2. Søens største tilløb er Ravnebæk ved campingpladsen i nordøst, mens den mod syd har afløb til Halleby Å. Kort før Halleby Å ligger Kongens Mølle, hvor et stigbord regulerer søens vandstand. I den vestlige del af søen ligger den ca. 1,2 ha store ø Magleholm samt to små holme.
Gennem en årrække modtog Skarresø urenset spildevand fra Jyderup. Udledningen blev stoppet i 1972, men efter en umiddelbar bedring har søens tilstand knap ændret sig. I perioden 1989‑2019 har der ikke været nogen signifikant ændring i søens indhold af kvælstof og fosfor, og den må derfor stadig betragtes som ret næringsbelastet.
Fiskebestanden domineres af små skaller og aborrer, men omfatter også gedde, sandart, hork og brasen. Sandarterne stammer fra udsætninger sidst i 1950’erne. I 2002 og 2003 udsatte det daværende Vestsjællands Amt desuden ca. 100.000 geddeyngel i et forsøg på at forbedre forholdet mellem fredfisk og rovfisk i søen.
Trods en ringe miljøtilstand har Skarresø et rigt fugleliv, og i vinterhalvåret raster store flokke af hvinand, stor skallesluger, troldand, taffeland, gråand og blishøne på søen. Ynglefuglene tæller bl.a. grågås og toppet lappedykker samt en skarvkoloni, som i 2020 bestod af 391 reder. Bedst kendt er søen dog for sit havørnepar, der har ynglet fast på Magleholm siden 2005.
Magleholm, de to små holme og en del af søens vestbred indgår i fredningen af Bjergsted Bakker fra 2001. Derudover er søen udpeget som både habitat- og fuglebeskyttelsesområde.
