I 1600- og 1700-tallet udviklede Holbæk sig langs den brede Ahlgade, hvor det fredede Elefant Apotek fra 1675/1810 og de store købmandsgårde blev bygget. I dag er der kun få bevarede pakhuse og købmandsgårde, men en enkelt af de gamle bindingsværksbygninger med svalegang fra 1660 kan opleves på Holbæk Museum, hvortil den blev flyttet i 1937.
Fra Ahlgade går der små stræder ned til havn og fjord, og her lå især tidligere en- og toetages bindingsværks- og senere murstensbygninger. Fra midten af 1800-tallet blev byen udvidet med flere gader og nye kvarterer, og udviklingen tog fart med åbningen af jernbanen i 1874. Den første stationsbygning var tegnet af Adolf Ahrens og blev revet ned for at gøre plads til den nuværende fra 1972 af Ole Ejnar Bonding.
En gul husrække danner en slags havnefront bl.a. med den gamle toldbod fra 1847, tegnet af Frederik Ferdinand Friis, og de karakteristiske røde haller fra 1938 er bevaret i den gamle havn.