I Holbæk Kommune findes kun få middelalderlige borge og voldsteder. Ældre efterretninger og sagn udpeger flere mulige borge, og der kan indgå rester af middelalderens borgbygninger i områdets mange endnu eksisterende herregårde. Kongemagten er kun repræsenteret som bygherre af Holbæk Slot, de øvrige voldsteder i området er anlagt af medlemmer af lokale stormandsslægter.
De mange herregårdsanlæg i kommunen repræsenterer byggerier fra middelalderen til 1900-tallet. Torbenfeld er en søborg fra middelalderen og rummer bygningsdele fra perioden. Fra renæssancen kan man opleve bygningselementer på Hagestedgård, Kongsdal, Vognserup, Aastrup og ikke mindst Løvenborg, hvor også en imponerende sandstensportal fra 1634 kan ses. Også Knabstrup og Tølløsegård er vægtige godser fra renæssancen, men deres hovedbygninger er senere blevet nyopført. En række klassicistiske bygninger fra første halvdel af 1800-tallet kan ses i Agersvold, Bjergbygård, Dønnerup, Eriksholm og Holbæk Ladegård. Den historicistiske byggestil i slutningen af århundredet er repræsenteret ved Bonderup, Gislingegård, Hørbygård, Toftholm og ombygningerne på Knabstrup og Torbenfeld. Merløsegård og Tølløsegård er de nyeste med nyopførelser i hhv. 1928 og 1942.
