Byens ældste huse ligger langs Taarbæk Strandvej med stikveje ned til stranden og har havnen som centrum, mens strækningen mellem havnen og Trepilevej kaldes Ny Taarbæk. Havnen er nu lystbådehavn, og fiskerhusene og de ældre villaer er omgivet af liebhaverboliger og lave etageblokke.
Taarbæk Havn ligger ved Øresundskysten. Havnen blev indviet i 1866 og har siden været en livsnerve for byen. Først som havn for det erhvervsfiskeri, der brødfødte hovedparten af byens borgere, og senere som rekreativt område for lokale og besøgende fra både land og hav.
