I den oprindelige landsby Gram lå den middelalderlige Sankt Vincents Kirke. I midten af 1300-tallet opførtes herregården Gram på en ø i den nuværende slotssø nordøst for kirken, og i tilknytning til herregården opstod en bebyggelse. I 1860 blev Gram Sygehus indviet; det skulle dække behovet i hele Haderslev Vesteramt.
Postekspeditionen fra Haderslev til Ribe gik via Gram, og i 1864 fik byen sit første postkontor i Gramby Kro. I 1872 blev Sparekassen for Gram og Nybøl Godser med Omegn oprettet.
Gram konkurrerede om oplandshandelen med Rødding og Arnum. I 1899 fik Gram to stationer på den smalsporede Haderslev-Rødding-bane. Stationen ved Gram Slot fik forbindelse til Rødding, og først i 1910 fik kirkebyen Gram forbindelse til Arnum og herfra til Skærbæk.
Ved afstemningen i 1920 stemte 602 indbyggere, svarende til godt 90 %, i Gram for indlemmelse i Danmark. Genforeningen bragte en del virksomheder og landbrug i vanskeligheder. Gram Savværk fra 1892 og Gram Tæppefabrik fra 1898 var økonomisk trængte i 1920’erne, men gennem modernisering blev de til byens største arbejdspladser. I september 1920 blev Gram Bank stiftet.
Bydelen Gramby mod syd med kirken og handelslivet blev institutionsmæssigt og boligmæssigt udbygget mod Gram Slotsby, og i 1936 var de to byer blevet til én by under navnet Gram.
I 1937 blev jernbanerne fra Gram og Toftlund til Skærbæk nedlagt, og året efter strækningen Gram-Rødding. Gram var dog fortsat et knudepunkt for trafik til Ribe, Rødding og Haderslev.
Indbyggertallet lå i 1921 på 652, og dette tal var næsten tredoblet til 1.826 i 1950. Befolkningsvæksten førte bl.a. til, at Gram Skole blev udvidet i hhv. 1957 og 1962; Gram Plejehjem blev opført i 1954.
Fra 1966 og frem til Strukturreformen i 2007 var Gram administrativt centrum i Gram Kommune, hvilket fremmede udviklingen i byen. Nye villakvarterer og almennyttige boliger blev opført i den sydlige del af Gram, og nye virksomheder blev placeret ved Industrivej. I det tidligere Gram Sygehus åbnede Gram Efterskole i skoleåret 1998/99. Kultur- og fritidsfaciliteterne, bl.a. skolen og biblioteket, blev moderniseret i løbet af 1980’erne og 1990’erne, og Gram Fritidscenter blev bygget i 2003. Befolkningstallet steg fra 2.061 i 1970 til 2.546 i 2006.
