I Kalundborgs bykerne er alle stilarter frem til 1970’erne repræsenteret. Stenhuset, den tidligere præstebolig, Præstegade 23 (ca. 1496), er et velbevaret senmiddelalderligt hus; bygningen er i to stokværk, røde munkesten og med kamtakkede gavle med murblændinger. Det samme gælder den endnu ældre kirkelade (senere latinskole) og den tidligere rektorbolig fra år 1500 i hhv. Præstegade 16 og 18 samt Kalundborgs tidligere rådhus, Adelgade 8.
Hovedgaderne er indrammet af borgerligt bindingsværksbyggeri fra renæssance og barok. Købmandsgården Schous Hus og magasinbygningen på hhv. Adelgade 17 og 19 stammer fra første halvdel af 1600-tallet, mens det 23 fag lange Lindegade 1-3 er opført i 1681. Husene i to etager har rig dekoration i form af udskårne fyldholter, knægte, profilremme samt mønstermurede tavl.
På grund af byggeriet af herregården Lerchenborg har også rokokoen sat tydelige spor i bybilledet. Johan Christian Conradi, som menes at være ophavsmand til det 35 fag lange, gul- og hvidkalkede Kålund Kloster eller Kalundborg Slots Ladegård, Klosterparkvej 7-9 fra 1752, bragte Niels Eigtveds stil til byen; facaden præges af pilastre med øre lisener omkring murblændinger i svagt relief. En kartouche i sandsten med slægten Lerches grevekronede våben pryder symmetriaksen. Apoteket, Lindegade 4 (ca. 1763), som tilskrives Philip Hartmann, er et gavlkvisthus med et stort opbud af rokokoens dekorative virkemidler.
Acciseboden, Sct. Jørgensbjerg 1 fra 1796, er et lille kvadratisk, gulkalket hus med pyramidetag, som vidner om klassicismens renselse af formsproget. Torvet præges af lige dele senklassicisme (Gyths Gård fra 1834, Torvet 12) og tidlig historicisme (Haand værksmestrenes Fond og Fribolig fra 1856, Torvet 15A-C), mens rådhuset har stået i Bedre Byggeskik siden en ombygning i 1942.
Arkitekten Anton Kristian Holnn-Møller har sat et stort aftryk i Kalundborg, hvor han havde tegnestue i perioden 1917-20. Han har bl.a. tegnet 100 huse til A/S Kallundborg Lyng og knap 30 villaer til Havebyen.
Modernismen er nænsomt indpasset i bykernen i form af Kalundborg Hallerne, J Hagemann-Petersens Allé 11 (1977 af Friis & Moltke).
