Rudkøbing opstod, hvor der var et velegnet sted til overfart mellem Langeland og Fyn. I slutningen af 1100-tallet var der en bydannelse på stedet, evt. i sammenhæng med anlægget af den kongelige borg Tranekær. Der er ikke fundet arkæologiske spor af Rudkøbings tidlige historie, men det antages, at byens ældste dele er koncentreret omkring Brogade, Torvet, den vestlige del af Østergade samt i området nord herfor.
Beliggenheden gav god adgang fra oplandet og nogenlunde sikre ankringsforhold. Der er ingen naturhavn i direkte tilknytning til skibsbroen, men Rudkøbing-Vejle syd for byen kunne anvendes som vinterhavn.
Fra 1287 er bevaret en bekræftelse af byens købstadsprivilegier fra 1250’erne. I 1300-tallet fik byen konkurrence af en bydannelse på Købingshoved i Lindelse Nor. Samtidig var Rudkøbing trængt af den omfattende bondehandel fra de sydfynske øer samt herregårdenes ret til egen handel, og købstadsprivilegierne måtte derfor gentagne gange bekræftes af kongemagten.
Trods store brande i hhv. 1580 og 1610 viser fund af kældre og mure af tegl, at byen trivedes i 1500- og første halvdel af 1600-tallet. Under Torstenssonkrigen i 1644 blev Rudkøbing ligesom de vestfynske byer befæstet med volde og grave. Svenskekrigen 1657-60 gik hårdt ud over Rudkøbing, da byen var besat af svenskerne i 1659; kun 52 af byens 114 ejendomme var beboelige efter krigen, og endnu i 1690 var der 34 øde grunde. Trods nogen tilflytning fra Hertugdømmerne var der i 1787 kun 925 indbyggere, så købstaden var ikke særlig stor. Til gengæld viser de store købmandsgårde fra 1780-1800, at Rudkøbing nød godt af søfarten på Østersøen. I dette borgerlige miljø fødtes fysikeren H.C. Ørsted i 1777 og juristen A.S. Ørsted året efter som sønner af byens apoteker.
I løbet af 1800-tallet udviklede Rudkøbing sig til at blive øens naturlige centrum. Fra ca. 1840 begyndte byen at vokse; første nye gade siden 1600-tallet var Ørstedsgade i 1843. I 1845 var indbyggertallet kommet op på 2.189. Omkring 1850 grundlagdes jernstøberi og teglværk og i 1880’erne bl.a. Bryggeriet Langeland og dampmøllen. Havnen, der havde fået sit første bassin i 1822, blev udvidet i hhv. 1847 og 1887. Et sygehus blev opført i 1859 og udvidet første gang i 1914. I 1911 kom jernbanen til byen med Langelandsbanen, og i 1925 kom der jernbanefærge til Svendborg. Der opstod en stor frøeksport, og med opblomstringen af et motoriseret bundgarnsfiskeri byggedes bl.a. fiskerihavn i 1911; en bindegarnsfabrik grundlagdes i 1912. Indbyggertallet voksede støt fra anden halvdel af 1800-tallet og lå i 1921 på 4.138.
I 1946 blev en første dispositionsplan for Rudkøbing vedtaget, og anlæggelsen af en ringvej begyndte. Større ændringer skete i forbindelse med Langelandsbroen, der åbnede i 1962; samme år nedlagdes Langelandsbanen. I 1964 flyttede værftet Bianca til byen.
I 1966 blev Rudkøbing administrativt center for den nyetablerede Rudkøbing Kommune. Indbyggertallet, der i 1950 lå på 4.541, var i 1970 faldet til 4.080
Turismen, der især er grundet i Rudkøbings velbevarede gamle købstadsmiljø, fik fra de sidste årtier af 1900-tallet stigende betydning. Langelandsfestivalen, som siden 1991 har fundet sted på markerne syd for byen, har også trukket turister til byen. Derimod lukkede sygehuset i 2005. Indbyggertallet steg indtil 1994, hvor det lå på 4.902, herefter faldt det og lå i 2006 på 4.717.
