I Kalundborg Kommune findes voldstedet Skarresholm ved Skarresø samt muligvis to voldsteder ved Sæby Kirke og i Ubby. I middelalderen bar området desuden præg af herregårde, der var ejet af både kongemagten, kirken og flere adelsslægter, og som i mange tilfælde blev videreført i den efterfølgende periode.
Herregårdene i kommunen efter middelalderen var stilmæssigt mangfoldige og var fortsat i adeligt eje. Lerchenborg og Kalundborg Slots Ladegård repræsenterer barok og rokoko fra midten af 1700‑tallet, mens de nuværende hovedbygninger til Algestrup, Bøstrup, Frihedslund, Kragerupgård og Løvegård illustrerer klassicismens idealer.
Som i det øvrige Danmark blev mange herregårde i området ny- eller ombygget i sidste halvdel af 1800-tallet, herunder Astrupgård, Birkendegård, Davrup, Egemarke, Nørager, Selchausdal og Vesterbygård, mens Lerchenfeld og Kattrup fik nye hovedbygninger i hhv. 1915 og 1925. Ågård vest for Tissø kan præstere bygninger fra fire forskellige århundreder, mens Avnsøgård og Sæbygård har mistet deres historiske hovedbygninger.
