Landskabet i Haderslev Kommune er præget af isens bevægelser og smeltevandets forløb i sidste istid, Weichsel. Et karakteristisk træk i landskabet er Hovedstilstandslinjen, der angiver ydergrænsen for Nordøstisens udbredelse. Hovedstilstandslinjen løber gennem kommunen fra nord til syd og passerer Sommersted og fortsætter videre sydover forbi Vojens og øst om Over Jerstal. Vest for Hovedstilstandslinjen findes et typisk vestjysk bakkeø- og hedeslettelandskab, som i kommunen domineres af Gram Bakkeø og den lille Hjartbro Bakkeø nordvest for Bevtoft samt dele af de store Rødding og Toftlund Bakkeøer, der fortsætter ind i hhv. Vejen og Tønder Kommuner. Bakkeøerne er rester af gamle landskabspartier fra næstsidste istid, Saale, og rager op som øer omgivet af sidste istids flodsletter og smeltevandsdale. Det gør også bakkeøerne til nogle af de ældste landskaber i Danmark.
I Haderslev Kommune er Hovedstilstandslinjen ikke markeret af egentlige randmorænebakker, men i stedet af den østlige afgrænsning af hedesletternes aflejringer af sand og grus. Det unge morænelandskab øst for Hovedstilstandslinjen er småbakket med tætliggende bakker og talrige afløbsløse huller og lavninger. Store dele af landskabet ligger 60‑70 m.o.h. og kulminerer syd for Vedsted i kommunens højeste punkt, Pothøj på 83 m. Videre østpå fra motorvej E45 og ud til kysten ligger landskabet gennemgående 40 m.o.h. og består af det jævnt bølgede moræneland, som er så typisk for et østjysk landskab. Det ses fx omkring Fjelstrup og Øsby. Morænelandskabet er gennemskåret af to dybe dale, der begge strækker sig vestpå til Hovedstilstandslinjen og udmunder i hedesletten med Gels Å. Den største af dalene, Haderslev Tunneldal, strækker sig 25 km fra Lillebælt til Vojens og er stærkt slynget. Dalen rummer den smalle Haderslev Fjord, Haderslev Dam, Hindemade og Stevning Dam. Fra Diernæs Bugt fører den noget mindre Hoptrup Tunneldal mod nordvest med Slivsø, Vedbøl Sø, Vedsted Sø og Rygbjerg Sø til udmundingen ved Over Jerstal. Mange steder har vandløb eroderet dybe kløfter i de stejle dalsider og sønderskåret det tilgrænsende moræneland, hvilket bl.a. kan ses nord for Haderslev Dam.
Forløbet af kommunens kyst ud mod Lillebælt er bestemt af istidslandskabets uregelmæssige overflade med bakker og dale. Særlig iøjnefaldende er klinterne ved Halk Hoved og Gravenshoved samt det marine forland med strandvolde og krumodder, som bl.a. ses ved Hoptrup Tunneldals munding, på Rævshalen med Noret og Søkrog, omkring Bankel Nor og Nørremaj samt på øst- og vestsiden af Årø.
