Aabenraa opstod antagelig som en handelsplads mellem de stejle, skovklædte skrænter i bunden af Aabenraa Fjord i årtierne omkring år 1200. Byen var formentlig anlagt på landsbyen Opnørs jorder ved åen. Hvor Opnør præcis lå, vides ikke, men landsbyen må i tidlig middelalder være blevet fortrængt af den nye handelsplads, som der heller ikke er fundet arkæologiske spor af endnu. Til handelspladsen hørte en havn, der igennem hele middelalderen var byens livsnerve og eksistensgrundlag, og som må have ligget mellem åmundingen og Skibbrogade.
Den ældste bykerne findes omkring gaderne Søndergade med Søndertorv, Skibbrogade, Gildegade og Vestergade med Store Torv samt den østlige del af Slotsgade. Der er fundet enkelte arkæologiske spor efter bebyggelse og håndværk i dette område. Adskillige bygninger, der har afløst hinanden, er udgravet i 1930’erne på hjørnet af Søndergade og Slotsgade. De ældste lag må dateres til 1200-tallet. På grunden Søndergade 2‑4 er der udgravet et formodet bageri med fem lerklinede bageovne, der har efterfulgt hinanden. Bageovnene var placeret udendørs, og den ældste kan dateres til ca. år 1300. Middelalderlige kulturlag er ellers undersøgt ved Søndergade 12, ved Vestergade 14‑16 samt i Vestergade 2‑6, hvor der er fundet en værkstedsbygning samt en brønd, som stammer fra 1250‑1450. Ligeledes er der på Store Torv påvist rester af en svellevej fra ca. år 1300. Byens oprindelige torv er formodentlig Søndertorv, men i takt med byens udvidelse mod nord og vest blev denne position overtaget af Store Torv.
Byens ældste kirke, muligvis viet til Sankt Knud, skal efter skriftlige kilder fra 1600-tallet have været placeret i området nord for Skibbrogade, muligvis bag Skibbrogade 7. Der er dog endnu ikke fundet spor efter denne kirke, der snart blev afløst af Sankt Nicolai Kirke, opført omkring midten af 1200-tallet uden for den egentlige bymæssige bebyggelse. På grund af de geografiske forhold kunne byen kun vokse mod nord.
Byens ældste borg, Aabenraahus, blev antagelig opført i perioden 1260‑80. Arkæologisk påviste brudstykker af voldgrave og svelleveje, der har omgivet borgen, viser, at den har ligget vest for Storetorv i området mellem Vestergade og Slotsgade. Der kendes i øvrigt intet til borgens udseende, og den blev nedlagt i løbet af 1400-tallet i forbindelse med kong Erik af Pommerns oprettelse af borgen Brundlund Slot sydvest for byen. Aabenraahus’ areal blev efterfølgende overdraget til byen.
Byens skrå kendes fra 1335, men Aabenraa fik muligvis købstadsprivilegier under kong Valdemar Sejr i første halvdel af 1200-tallet. I begyndelsen af 1300-tallet blev der i forbindelse med udvidelse af et mølleanlæg i Mølleå anlagt en omtrent 20 m bred og ca. 4 m dyb grav tværs over morænebanken nord for Vestergade og Storetorv og syd for Rådhusgang. Graven, der har været vandførende, er bemærkelsesværdig ved at adskille selve byen fra sin kirke. Sankt Nicolai Kirke lå isoleret ved Storegade, et stykke nord for voldgraven. Antagelig omkring år 1400 blev der dog anlagt en 8‑9 m bred voldgrav langs med Store Pottergade nord for kirken.
Storegade førte trafikken nord ud af byen. Nord for byen, i nærheden af gaden Jørgensgård, lå der et spedalskhedshospital. Der er fundet enkelte anlæg, fx en teglovn, og skeletdele, der muligvis kan knyttes til hospitalet. Kvarteret uden for voldgraven ved Store Pottergade hed fra senmiddelalderen Ramsherred: et navn, der antyder, at der her voksede et fattigkvarter op.
De gode besejlingsforhold til trods udviklede Aabenraa sig aldrig til en større by i middelalderen; dertil var de fysiske adgangsforhold til byen alt for besværlige, og nærheden til de to større byer Haderslev og ikke mindst Flensborg for stor. På reformationstiden var Aabenraa en forholdsvis lille og fattig by, og i de næste mere end 150 år blev byen ramt af katastrofer og krige. En betydelig del af byen brændte i 1576, og i 1610 lagde en ny storbrand hele 150 af byens 180 huse i aske. De følgende år led byen under de skiftende hære, der besatte byen under Kejserkrigen, Torstenssonkrigen og Karl Gustav-krigene. En langsom genrejsning fulgte, men konflikterne mellem byens herre, den gottorpske hertug, og den danske konge, som besatte byen flere gange, gav nye afbræk.
Alligevel lagdes grunden til byens storhedstid i slutningen af 1600-tallet. Som handelsby havde Aabenraa det svært, dels fordi den lå mellem de større byer Haderslev og Flensborg, dels fordi de stejle skrænter gjorde adgangsvejene vanskelige. I stedet vendte byen sig mod havet, og i slutningen af 1600-tallet begyndte søfart og skibsbygning at vokse.
De gode konjunkturer i 1600-tallet gav byen mulighed for at etablere vandforsyning med vandrør af træ, som det også kendes fra bl.a. København og Odense. Vandrørene er bl.a. fundet på Vægterpladsen og i et forløb fra Mutter Stahlbohms Plads og nordpå ad Ramsherred. Der er også fundet nogle blyforede trævandrør i forbindelse med kloakrenovering af Nybro, Slotsgade og Vestergade.
I 1700-tallet og en stor del af 1800-tallet blev søfart og skibsbygningserhvervene helt bærende for byens økonomi. I 1748 var 115 skibe hjemmehørende i Aabenraa. Mange var små og beskæftiget i sejlads på Østersøen, men efterhånden begyndte skibene at søge længere bort, ikke mindst til Middelhavet. Englandskrigene 1807-14 var et stort tilbageslag for byens søfart, men derefter rejste den sig igen for at opleve sin største blomstring. Byens skibe søgte længere ud og kom til at sejle på Sydamerika og Kina. Der var tale om international trampfart, hvor skibene kun sjældent eller aldrig så Aabenraa, men de var gennemgående både bygget, ejet og i stort omfang bemandet i Aabenraa. Også skibsbyggeriet blomstrede, og byen kom til at rumme en række træskibsværfter. Ved siden af dette opstod der også enkelte andre småindustrier sidst i 1700-tallet og først i 1800-tallet. Indbyggertallet lå i 1801 på 2.834, og tallet var i 1845 nået op på 4.086.
De fleste indbyggere talte dansk, mens tysk var administrationssprog som i de andre slesvigske købstæder. Fra 1830’erne sluttede en del af borgerskabet sig til den slesvig-holstenske liberalisme, som kom til at stå stærkt i byen. I 1848 sluttede bystyret og meget af borgerskabet sig til den slesvig-holstenske opstand, men underskriftindsamlinger viser, at der i befolkningen var flertal for det danske med værftsarbejderne som kernegruppe.
Endnu i tiden mellem de to slesvigske krige blomstrede byen, og dens søfart og værftsindustri kulminerede. Det fik imidlertid hurtigt ende efter 1864, fordi byen ikke havde held med at overgå fra sejl til damp. Det sidste store træskib blev bygget i 1883, og de fleste rederier indstillede aktiviteterne. Kun ét større dampskibsrederi, Jebsen, fik base i Aabenraa. Det sejlede mest på Østen og beskæftigede kun et begrænset antal personer fra Aabenraa. Til gengæld gik byen frem som handelsby, hjulpet af jernbanen, der i 1868 åbnede med forbindelse til Rødekro, og bedre veje samt den gode naturhavn, som nu blev udbygget. Det var dog ikke nok til at sikre større fremgang. Industri kom der kun lidt af, og befolkningen voksede kun ganske langsomt i tiden under tysk styre. I 1901 lå indbyggertallet på 6.619 og i 1921 på 7.961.
Ved et valg i 1867 var der endnu dansk flertal, men flertallet svingede hurtigt og forblev tysk frem til 1920. Aabenraa fik dog en central position for den danske bevægelse. I byen stiftedes den første store dansknationale forening for hele landsdelen, Sprogforeningen, som vedblev at have hovedsæde her. I år 1900 købte foreningen restaurant Schweizerhalle, der blev omdøbt til Folkehjem og udbygget til det vigtigste danske samlingssted i landsdelen.
Byen voksede ganske kraftigt efter Genforeningen i 1920. Den gode havn var central for byens udvikling og hjemsted for en række engros-virksomheder. Der var også en vis industrivækst, hvor særligt slagteriet, grundlagt i 1922, og påhængsvognsfabrikken DAPA fra 1932 var af betydning. I 1924 åbnede Sønderjyllands Højspændingsværk på havnen. Det blev fra 1958 afløst af Enstedværket, der blev anlagt uden for bygrænsen, men mange fra byen fandt beskæftigelse her.
Befolkningsvæksten, hvor indbyggertallet i 1950 var nået op på 13.017, gav sig udslag i byggeri af både et stort antal etageejendomme og nye villakvarterer. Frem til slutningen af 1960’erne skete byudviklingen især i en gren af dalen mod sydvest og et par områder mod vest.
Byens centrale beliggenhed i Sønderjylland fremmede en vis lokalisering af regionale institutioner som Landsarkivet for Sønderjylland, der blev indviet i 1925, og Det sønderjyske Landsbibliotek. Hertil kom efter 2. Verdenskrig et børnehaveseminarium, Sønderjyllandshallen og hovedsædet for Radio Syd. Også for det tyske mindretal blev byen central. I mellemkrigstiden kunne det især mærkes ved, at mindretallets nye fælles avis, Nordschleswigsche Zeitung, fik hjemsted her. Efter krigen blev Aabenraa efterhånden hjemsted for de fleste af mindretallets centrale institutioner, bl.a. det tyske gymnasium, den tyske avis Der Nordschleswiger og det tyske hovedbibliotek.
Efter 1970 har befolkningstallet i byen stort set været konstant med 15.196 i 1970, 15.628 i 1990 og 16.109 i 2006, men byen bredte sig. Meget af væksten skete i den nye bydel Høje Kolstrup mod nord, som blev planlagt i 1960’erne efter tidens idealer med bl.a. centralt butikstorv, skole og idrætshal. Bydelen oplevede efterhånden en koncentration af sociale problemer, men en energisk indsats formåede efter år 2000 at genrejse bydelen.
Erhvervsudviklingen blev ikke mindst præget af serviceerhvervene, hvor byen i nogen grad fik status som regionscentrum. Ud over mindretallets institutioner blev funktionen som hovedsædet for det nye Sønderjyllands Amt af stor betydning for byen, men også den private erhvervsudvikling var præget af servicevirksomheder som Sydbank, der blev skabt i 1970 ved fusion af flere banker i landsdelen, handels- og servicevirksomheden Meldgaard og handelsog industrivirksomheden Abena.
