Byarkæologiske undersøgelser af Ærøskøbing har været få. Ved en undersøgelse ved Gilleballetofte stødte man dog på en grøft, som kunne være en matrikelgrøft, der markerede Ærøskøbings vestgrænse i middelalderen. Ved undersøgelsen blev fundet potteskår fra 1100-tallet. Den nuværende kirke er opført i 1756-58. Den afløste en romansk kirke, som ud fra døbefontens stil kan dateres til senest ca. 1250. I 2013 blev desuden fundet en kragsten, som har siddet i korbuen på en romansk kirke. Den lå under et staldgulv i Vrå, ikke langt fra Ærøskøbing, og antages at stamme fra den romanske kirke. Stenen vurderes at være fra ca. 1150.
Det første skriftlige vidnesbyrd om en købstad på Ærø er fra 1398, hvor byens borgmester og rådmænd var på øens herredsting. Byens første overleverede købstadsprivilegium blev givet af Christian 2. i 1522. Her fik byen privilegium på al handel på øen. Fra dronning Dorotheas bekræftelse af byens privilegier i 1563 kan sluttes, at kong Hans allerede i sin regeringsperiode 1481‑1513 tildelte Ærøskøbing købstadsprivilegier.
I 1629 blev byen ramt af en brand, som lagde 44 gårde og huse øde. Efter hertug Christians død i 1633 blev Ærø delt i tre minihertugdømmer, hvilket afskar Ærøskøbing fra en del af sit opland på øen. Ærøskøbing formidlede oprindelig varer mellem oplandet på Ærø og nærområdet i Det Sydfynske Øhav, Lolland og langs hertugdømmet Slesvigs østkyst. I denne trafik udnyttede skipperne Ærøs placering som del af hertugdømmet Slesvig, der havde andre toldregler end Kongeriget Danmark. I løbet af 1700‑tallet udviklede byen sig til en skipperby, der fragtede varer mellem Østersøen, Det Sydfynske Øhav, Norge og England. Perioden fra midten af 1700‑tallet var præget af en betydelig vækst i byens flåde. I 1852 var Ærøskøbing med 107 fartøjer den fjerde største søfartsby i hertugdømmet, kun overgået af Flensborg, Aabenraa og Marstal. I 1773 mistede købstaden som den eneste købstad i hertugdømmet sin magistrat og sin egen jurisdiktion. I stedet blev der oprettet et embede som landfoged, der også fungerede som byfoged. Indbyggertallet i 1801 lå på 1.291 og var stigende de følgende årtier.
Med Ærøs indlemmelse i Kongeriget Danmark i 1867 genvandt Ærøskøbing sine fulde købstadsrettigheder. Omkring 1864 toppede Ærøskøbing som skipperby, og skibsfarten stagnerede herefter. Begivenhederne i 1864 fik dog ikke længerevarende konsekvenser for byens søfart. Ærøskøbing oplevede ikke en større industrialisering, men orienterede sig mod traditionelle købstadserhverv som handel og håndværk. Indbyggertallet toppede i 1860 med 1.713 indbyggere, og i 1901 var det faldet til 1.485. Ærøskøbing var dog fortsat en velstående by, og frem til 1920 blev der investeret betydelige midler i nybyggeri, herunder offentlige bygninger, og moderniseringer, som gennemgribende ændrede byens udseende. I 1863 fik byen et nyt rådhus, og en ny skolebygning stod færdig i 1888 i Vestergade. I 1891 fik Ærøskøbing et sygehus, og to år senere blev håndværkeruddannelserne tilgodeset med Teknisk Skoles bygning i Baggårde.
Efter 1. Verdenskrig spillede søfarten kun en beskeden rolle for byen, og der skete en omlægning af byens erhvervsgrundlag fra søfart til især turisme. Med betegnelser som »eventyrby« blev Ærøskøbing op gennem 1950’erne og 1960’erne en af Danmarks store turistdestinationer. Trods denne udvikling faldt befolkningstallet fra 1.323 i 1921 til 1.273 i 1960, og byen havde 1.228 indbyggere i 1965. Byudviklingen foregik ud langs Nyvej og Sygehusvejen, mens man har søgt at bevare bykernen, som den så ud omkring 1920.
Byen havde efter 1970 fortsat sine vigtigste erhverv inden for turisme og handel. Befolkningstallet faldt yderligere fra 1.223 indbyggere i 1970 til 1.010 i 2006. Byudviklingen fortsatte ud ad Sygehusvejen og Statene med parcelhusområder og offentligt byggeri. I 1974 blev de nye områder adskilt fra den gamle bykerne af en omfartsvej. Bevaringsarbejdet i byen blev i 2002 belønnet med Europa Nostra-prisen.
