Kalundborg er opstået i bunden af Kalundborg Fjord. Omkring Sct. Olai Kirkegaard kan der have ligget en landsby, før Esbern Snare opførte byens ældste forsvarsanlæg i tiden omkring 1170. Der er ikke fundet spor af landsbybebyggelsen, men den antages siden at være blevet nedlagt og flyttet til Højbyen, dvs. Kalundborgs middelalderlige bykerne.
I løbet af højmiddelalderen blev byen overtaget af kongemagten, og Valdemar Atterdag udvidede den store Østborg og opførte en befæstning rundt om byen. Kongen opholdt sig ofte her og benyttede bl.a. borgen til afholdelse af danehof og rigsmøder. I ca. 1240 oprettedes et franciskanerkloster i byen. De ældst kendte købstadsprivilegier stammer fra 1443.
Under dronning Margrete 1. flyttedes Rigsarkivet samt kongernes skatkammer til Østborgen. Herefter blev landets finansielle administration varetaget fra Kalundborg. Sammenlignet med andre byer betalte Kalundborg relativt høje skatter i middelalderen, og sammen med den stærke befæstning vidner dette om byens betydning i samtiden.
Kalundborgs storhedstid stoppede, da Rigsarkivet blev flyttet til København i 1580’erne. Fæstningsværket forfaldt, og Karl Gustav-krigene 1657-60 gik hårdt ud over byen, der led under tvangsskatter, udskrevet af den svenske besættelsesmagt. Derudover tvang svenskerne byens borgere til at nedrive borgen.
Efter svenskekrigene blev der fra havnen især handlet med Syd- og Vesteuropa. I midten af 1700-tallet blev kornhandelen med Norge den vigtigste handelsaktivitet, og det var tilfældet indtil tabet af Norge i 1814. Herefter gik eksporten af landbrugsvarer især til England og Holland.
Dette medførte igen en kort opblomstring i byen, men denne aftog atter, da kornhandelen med England faldt, og andre havne såsom Holbæk overtog positionen som egnens vigtigste havne for udskibning af landbrugsvarer.
I perioden 1850-1920 havde Kalundborg fremgang. I 1855 lå indbyggertallet i købstaden på 2.420, i 1921 var det på 7.260. Kalundborg var da et trafikknudepunkt for Nordvestsjælland. Den gode, beskyttede havn blev udbygget i flere omgange. Der var daglig dampskibsforbindelse til Aarhus samt ugentlige afgange til København og Vejle. I 1874 åbnede Nordvestbanen mellem Roskilde og Kalundborg. Dette gav Kalundborg et stærkt erhvervsgrundlag og cementerede byens position som den vigtigste udskibningshavn i området for bl.a. landbrugsvarer.
Af vigtige industrier i perioden 1850‑1920 kan nævnes andelssvineslagteriet (1896), den elektromekaniske fabrik Avanti (1916), Motorfabrikken Bukh (1915) og Kalundborg Skibsværft (1917). Desuden oprettedes bryggerier, savværker m.m.
I 1901 hærgedes Kalundborg af en storbrand, som især gik ud over Kordilgade.
En økonomisk depression ramte byen i 1921, efter at Kalundborg Skibsværft og byens bank krakkede. I tiden efter 1920 ernærede indbyggerne sig især ved handel, håndværk og industri. Havnen blev fortsat udvidet, bl.a. i 1940, hvor man anlagde en oliehavn, og sejlrenden blev uddybet til 9 m. På halvøen Gisseløre anlagdes Kalundborg Radiofoni station, der fungerede som Danmarks hovedsender for Statsradiofonien. Kalundborg oplevede en kraftig vækst i 1960’erne, og befolkningstallet lå på 11.416 i 1965. Industrien kom rigtig i gang i 1960’erne med bl.a. det amerikanske Tidewater Oil Companys raffinaderi i Melby (i dag: Equinor) i 1961 og Carmen Curlers i 1963.
Væksten fortsatte i 1970’erne. I 1970 var der 12.248 indbyggere, og allerede i 1976 var tallet steget til 15.323. I forbindelse med Kommunalreformen i 1970 blev Kalundborg ud over den gamle Kalundborg Kommune administrativt center for de tidligere kommuner Raklev, Røsnæs og Årby. Medicinalfirmaet Novo byggede i 1969 en fabrik lige øst for havnen. Flere andre store industrier kom til, og byen fortsatte med at være Vestsjællands industrielle centrum. I 2006 lå indbyggertallet på 16.250.
