Kalundborg har en befolkning på 16.295 og et areal på 17,0 km2. Byen ligger inderst i Kalundborg Fjord, det tragtformede farvand mellem to næs, der peger vestpå ud i Storebælt: Røsnæs i nord og Asnæs i syd. Fra Kalundborg er der 40 km til Holbæk mod øst og 93 km i samme retning til København.
Selve byen med boligkvarterer, handel, institutioner, jernbanestation og færgehavn er anlagt på Røsnæs’ sydvendte skråning, hvorfra der mange steder er vid udsigt over fjorden til Asnæs med store industrielle anlæg og til havneområderne. Søfarten har fra begyndelsen nydt godt af læet bag den 1 km lange krumodde Gisseløre, som bærer Kalundborg Radiofonistations høje master. Havneanlæggene har bredt sig fra den ældste havn rundt langs fjordbunden, og man forbereder sig på at modtage skibe med 15 m’s dybgang, dvs. skibe, som kun kan vælge Storebælt på vej til og fra Østersøen. Havnen har været afgørende for byens erhvervsudvikling fra den tidlige vare- og persontransport til vor tids trafik med kul, olie, træflis, containere og krydstogtpassagerer.
Kalundborg har store erhvervsarealer, og de ligger næsten alle syd for jernbanen. Et af dem er Biotekbyen 2 km øst for endestationen, som i 2018 fik station, Kalundborg Øst Station, for pendlere østfra. Kalundborg Lyng har flere store virksomheder, og på Asnæs ligger Asnæsværket og et olieraffinaderi. Her ved godset Lerchenborg er desuden anlagt en solcellepark på ca. 80 ha. Boligkvartererne ligger især nord for jernbanen. Fra de ældste bydele på det lave terræn nær fjorden har parcelhuskvarterer og almene boligområder bredt sig både op over skrænten, mod øst langs indfaldsvejene fra Holbæk og Slagelse og vestpå langs nordsiden af fjorden, hvor de gamle landsbyer Raklev, Ellede og Nyrup er blevet forstæder. Munkesø i en lavning nordvest for den ældste bydel blev drænet, og den flade bund gav plads til et stadion.