Nær Skælskør Fjord rejser Borrebys røde munkestensmur sig fra en holm i landskabet. Den to et halvt stokværk høje herreborg blev opført i 1556 af kongens kansler, Johan Friis, med både forsvar og pragtbyggeri for øje. Øverste etage var oprindelig udstyret med en vægtergang med skydeskår og skoldehuller, hvorfra fjender kunne beskydes, mens indgangen i trappetårnet havde faldgitter og egetræsbom, så døren kunne stænges. Hver etage markeres af en buefrise, der øverst er udkraget. Gavlene på både hovedfløjen og de fire tårne, der i dag følger den stejle taghældning, var oprindelig udsmykket med svungne eller takkede gavle med sandstensudsmykninger. Avlsgården ligger i forlængelse af hovedbygningen mod syd og blev ligeledes opført af Johan Friis og efterfølgeren og brodersønnen Christian Friis.
I 1618 overgik Borreby til slægten Daa, hvis mest kendte ejer er Valdemar Daa, der, som senere skildret af H.C. Andersen, i 1681 måtte afstå Borreby efter at have opbrugt sin formue på alkymi. Borreby ejes i dag af efterkommere af Joachim Castenschiold, der i 1783 købte herregården. Joachim Castenschiold og Carl Henrik Castenschiold driver Borreby med landbrug og skovdrift, men har også konferencecenter samt teater indrettet i avlsgårdens gamle ridehus.
På holmene mellem Borrebys voldgrave fra 1500-tallet ses både fine gårdspladser belagt med marksten og et græsrum omgivet af mægtige lindealléer, der stammer fra det tidligere barokanlæg ligesom den lindeallé, der ses i den landskabelige del fra 1800-tallet, og som ca. 1915 blev renoveret af landskabsarkitekt Edv. Glæsel.
