Langs Slotsgade og omkring Torvet og domkirken rejstes i 1500‑ og 1600-tallet en lang række gavlhuse i to etager, de fleste i bindingsværk, men også nogle i grundmur. Enkelte steder har husene korte portfløje (korshuse) med forstue (dile) og stue mod gaden samt sal (pisel) i en smallere forlængelse af gavlhuset. Gavlhusene, som er præget af sengotikken, er bygget med højstolper i den ene side og stokværksfremspring i den anden. Men der blev også bygget langhuse, bl.a. bygmester Hercules von Oberbergs stenhus i Slotsgade 22 fra 1578 og de overpudsede bindingsværkshuse i Slotsgade 29 og Store Klingbjerg 2 fra hhv. 1578 og 1650. Af de mange bevarede gavlhuse i Slotsgade skal fremhæves Philip »Skiferdækkers« hus fra 1577. Huset i Slotsgade 20, der rummer enestående vægmalerier fra 1600-tallet, blev restaureret 1975‑80.
Efter branden i 1627 blev de gamle gavlhuse omkring Torvet opført i bindingsværk i ren renæssance med svejfede knægte og bladfriser på overetagernes fodremme. Her må særligt nævnes Torvet 4 fra ca. 1630, hvis udsmykninger med rosetter og bladværk blev restaureret i 1962, Torvet 5 med den bevarede knægtbyggede gavl og Torvet 13 med en fornem langside mod gyden til domkirken. På samme tid blev der også opført en lang række små boder især i Vestergade- Storegade, Store Klingbjerg og Naffet. Disse toetagers gavlhuse i bindingsværk blev bygget langt op i 1700-tallet, men samme periode bød også på nye nordtyskinspirerede barokgavle, fx på Hertug Hans’ Hospital fra 1726 og Torvet 7 fra 1760.
Langhusene fik deres gennembrud efter branden i 1759. De nye som regel murede facader var præget af rokoko med rig brug af kvaderlisener og buestik, fx amtmandsgården på Ribe Landevej 3 (ca. 1760) og annekset til Hertug Hans’ Hospital fra 1787. Ellers er byggeriet fra begyndelsen af 1800-tallet præget af enkle facader i gule Flensborgsten. I husrækken Gammelting 1‑5, opført ca. 1825‑58, ser man inspirationen fra C.F. Hansens klassicisme med kombinationen af blankt murværk og kvaderliséner. Til samme gruppe hører den forhenværende fattiggård i Laurids Skausgade 8 og den forhenværende skole på Moltrupvej 1, opført hhv. 1837‑38 og 1831.
Midten af 1800-tallet blev en stor byggeperiode. Den var præget af slesvigsk senklassicisme med detaljer i puds og støbejern, og den førende bygmester var Paul Christiansen. Hans første værker i byen er Slotsgrunden 1 fra 1837, som har refendfuget underetage og midterparti med pilastre og gavlkvist, og Christina Friederica Stiftelse i Storegade 86 fra 1839. Hans yngre bygninger er præget af senklassicismen, bl.a. det tidligere Hjorteapotek i Apotekergade 9 A fra 1842 og hans eget hus i Naffet 39, opført ca. 1850. Dertil kommer den danske landbygmester L.A. Winstrups nygotiske værker: Katedralskolen i Gåskærgade, opført 1853‑54, og ombygning af rådhuset i Lavgade 3 fra 1856.
Det mest iøjnefaldende offentlige byggeri efter 1864 var Haderslev Kaserne, opført i 1888. Efter 1890 blev det offentlige byggeri præget af den preussiske nygotik, fx den fredede stiftelse Catharinaheim på Christiansfeldvej fra 1896 af Wilhelm Voigt.
I det private byggeri efter 1864 fik det blanke murværk en genopblomstring, fx Nørregade 26 og Store Klingbjerg 8, og fra ca. 1890 blev byggeriet præget af nordtysk historicisme, især nygotik med mønstermurværk, støbejernsaltaner, spir og karnapper, ofte med mansard- eller flade tage. Etagehuse fra denne tid ses især på Jomfrustien, Sønderbro og i Allégade, og af bygmestre og arkitekter kan nævnes Niels Jürgensen, hvis jugendhus i Gåskærgade 1 stod færdigt i 1905, tre år efter hans død. Også langs Aastrupvej findes en række villaer i nygotik og jugendstil.
Eksempler på mod-arkitektur i dansk nationalromantik er Andreas Hagerups frimenighedskirke fra 1896 og den forhenværende Haderslev Bank i Nørregade 30 (1915) af Peder Gram. Gram var den førende arkitekt i disse år, og han stod også bag bl.a. villaerne Rolighedsvej 22, Ny Allégade 8 og Aarøsundvej 46 samt den forhenværende håndværkerskole på Lembckesvej 1 fra 1922.
I 1909 stiftedes en forening for hjemlig byggeskik, og op mod 1914 blev hjemstavnsstilen fremherskende, fx med gymnastikhuset opført 1914‑15 af stadsbygmester Schnackenburg. Bygningen med det tyske kaldenavn Turnhalle blev opført til den tyskinspirerede gymnastik. Andre bygningsværker fra disse år er amtsbanernes haveby ved Dalgade fra 1912, tegnet af Walter Czygan, og det forhenværende toldkammer på Skibbrogade fra 1912 af Friedrich Jablonowski. I 1914 blev det gamle Haderslev Museum, som i dag huser Museum Sønderjyllands administration, bygget med Ernst Hartwig som ansvarshavende arkitekt.
Af moderne arkitektur kan nævnes det forhenværende Hundevadts Stormagasin i Bispegade 15-17, opført 1947‑49 af Vilhelm Wohlert, og montagebyggeriet Varbergparken, opført 1972‑81 og renoveret af C.F. Møller Architects i perioden 2006‑20. Finn Monies står bag det raffinerede forbrændingsanlæg fra 1967, som er opbygget i hvide kubiske former, og det nye rådhus ved Gåskærgade, hvis lave bygninger i beton og aluminium han i samarbejde med Th.B. Thomsen opførte i 1974. Endelig må også den nye del af Museum Sønderjylland fremhæves: Grønlund Larsen og Bank-Rasmussen har tegnet den massive kube beklædt med rødt tegl fra 1976.
C.F. Møller Architects vandt i 2003 en arkitektkonkurrence om omdannelsen af Haderslev Havn til en ny bydel, og VUC Syd fik i 2013 opført bygningen Lighthouse, tegnet af AART Architecture og ZENI Arkitekter A/S, på havnen. Bygningens forskudte niveauer er centreret omkring et stort atrium. ZENI Arkitekter A/S har også tegnet nabobygningen FlowFactory fra 2016, ligeledes til VUC Syd. Bygningerne er i 2020 solgt til Haderslev Kommune. CEBRA Architecture har tegnet den karakteristiske StreetDome (2014), som er kulturhus og skaterpark.
