Torbenfelds hvidkalkede hovedbygning ligger på en holm i Torbenfeld Sø. Anlæggets tredeling med selve borggården på den yderste holm, den gamle forborg (nu staldgård) i næste led og avlsgården på søbredden vidner om middelalderens forsvarshensyn. Herregården var i slutningen af 1300-tallet ejet af Evert Moltke, der var en betroet embedsmand og marsk i kong Valdemar Atterdags og Margrete 1.s dage, og dele af sydfløjen går muligvis tilbage til denne tid. Østfløjen er opført i 1577, mens den nuværende nordfløj stammer fra 1767, og hjørnetårnene blev opført så sent som i 1906.
Torbenfeld er desuden blevet ombygget og restaureret ad flere omgange. Bygningsværket bærer således præg af forskellige tiders arkitektur og restaureringsidealer, men fremtræder trods dette som en imponerende helhed. 1668‑70 var Frederik 3. ejer af Torbenfeld og ændrede dens navn til Frydendal efter den nærliggende kirke. Dette forblev herregårdens navn, indtil slægten Treschow, der har ejet den siden 1873, atter gav den dens gamle navn i 1907. Peter og Christina Treschow har siden 1985 stået i spidsen for Torbenfeld Gods, som driver et omfattende skov- og landbrug.
