Haderslev har en befolkning på 22.101 og et areal på 12,1 km2 og er det administrative center for Haderslev Kommune. Byen ligger i bunden af Haderslev Fjord, og i fugleflugtslinje er der 23 km til Aabenraa mod syd, 46 km til Ribe mod vest, 26 km til Kolding mod nord og 48 km til den tyske grænse ved Padborg i syd.
Haderslevs bykerne med Torvet, Apotekergade, Domkirkepladsen, Bispegade og Storegade ligger på en ca. 1.300 x 400 m aflang sandbanke fra sidste istid, hvis højde når op til 11 m.o.h. Her er der gågader med et levende forretningsliv med dagligvarer og special- og servicebutikker, caféer og restauranter. Bebyggelsen strækker sig op ad tunneldalens sider, højest mod nord, hvor Christian X’s Vej munder ud i Omkørselsvejen 57 m.o.h. Syd for dalen stiger terrænet brat mod Aabenraavej, men flader så ud. Mod sydvest når de nu bebyggede Erlev Bjerge 37 m.o.h.
I udkanten af bykernen ligger der både lavprisvarehuse og supermarkeder. For at lette den øst-vest-gående passage gennem byen for bløde trafikanter er jernbanetracéet fra amtsbanerne omdannet til en 2 km lang Banesti fra Christian X’s Vej til Simmerstedvej. Den gennem gående trafik ledes vest om byen ved Omkørselsvejen, der ved sin etablering i årene 1948‑56 skabte den indre Haderslev Dam og Haderslev Dampark. Andre grønne områder er stien omkring Haderslev Dam, golfbanen mod vest og Vesterskov nord for byen. Med anlæggelsen af Omkørselsvejen blev bykernen forskånet for den hastigt voksende bilisme og ødelæggende trafiksaneringer i bymidten, som mange andre byer oplevede.
Haderslev har fire større industriområder: Industri Nord mellem Moltrup Landevej og Omkørselsvejen, Industri Øst ved Christian X’s vej, der er sparsomt udnyttet, og syd for fjorden Industri Syd ved Hirsevej og industrien ved Langkær.
Haderslevs bybillede bærer historien med sig i kraft af gadenettets forløb, gadenavne med historiske relationer og de mange bevarede ældre bygninger.
Omkring 1890’erne var byen udbygget. Velstillede borgere opførte villaer uden for de ældste bydele, eller de slog sig ned i de nærliggende sognekommuner, i Sønder Otting, langs Aastrupvej i øst og Ribe Landevej i vest, hvor de slap billigere i skat. Nabokommunerne blev indlemmet i Haderslev i 1910, og byens areal var derpå uændret indtil Kommunalreformen i 1970.
Indtil 1890’erne var Hertug Hans’ Hospital en af de få bygninger syd for Møllestrøm. Husene langs Sønderbro blev i tiden mellem år 1900 og indtil 1. Verdenskrig omkranset af et eksklusivt planlagt villakvarter, der med udsigt over Haderslev Dam lå centreret om et etagebyggeri i tre etager.
Villabebyggelse rundt om den gamle bymidte begyndte ofte som kolonihaver, fx Borgmesterkobbelen, Virkelyst og Ryesminde, og da ændringen fra småhuse til villaer skete over tid, består disse kvarterer nu af huse i forskellige byggealdre. Haderslev Andels Boligforening blev stiftet i 1938 og har siden opført 2.300 boliger spredt over hele byen i form af enfamilieshuse, rækkehuse, etageblokke og højhuse som fx Varbergparken fra 1970’erne, hvor en enkelt blok er på 11 etager. En ny bydel er under opbygning mellem fjorden og Fjelstrupvej med institutioner, skaterparken Street‑ Dome og lave boligblokke. Denne udvikling er et resultat af kommunens målbevidste havneomdannelse, der skal binde havnen sammen med den gamle bymidte ved udvikling af den mellemliggende Jomfrustien.
