Svendborg er antagelig opstået i midten af 1100-tallet, hvor en by blev anlagt i den beskyttede vig ved sundet mellem Storebælt og Det Sydfynske Øhav. Beliggenheden var fordelagtig for handel og søfart.
Bydannelsen voksede formentlig frem i områderne øst og nord for Sankt Nikolaj Kirke ved gadekrydset Gerritsgade-Møllergade-Korsgade-Brogade og langs forløbet ned mod stranden ad Brogade. Svendborg fik en stenkirke i 1100-tallet, der var en forgænger til den nuværende Sankt Nikolaj Kirke, og som der stadig ses spor efter i kirkens kor. En kulstof 14-datering af en grav, som blev gravet, da kirken var ganske ny, daterer anlæggelsen af kirken til før 1155. Dette betyder, at dens opførelse formentlig knytter sig direkte til byens grundlæggelse.
I begyndelsen af 1200-tallet voksede byen betydeligt, og den ældste sognekirke blev erstattet af den nuværende teglbyggede Sankt Nikolaj Kirke. På byens højeste punkt blev også Vor Frue Kirke bygget som en helt ny sognekirke, og i 1236 fik franciskanerordenen tildelt jord på en strandeng, hvor Svendborg Station nu ligger. Brødrene opførte her en kirke og et kloster. Tidligt i 1200-tallet blev hidtil ubebyggede matrikler også bebygget, og byens torv blev flyttet fra syd for Sankt Nikolaj Kirke op til pladsen syd for den nybyggede Vor Frue Kirke. Nord for byen ved den nuværende Møllergade blev Kongens Mølle også anlagt på denne tid.
På samme tid blev Svendborgs bybefæstning etableret. Den bestod hovedsagelig af en vold med kraftig træpalisade på toppen med en op til 11 m bred voldgrav foran, og den omsluttede et areal på 14 ha. I Kullinggade, hvor befæstningen fik kontakt med Sundet syd for byen, er der fundet et kraftigt fundament af kampesten, som formentlig er rester af et fundament til en bro over graven eller evt. en dæmning.
Svendborgs ældst kendte købstadsrettigheder stammer fra 1253. Byen blev i løbet af middelalderen den næststørste på Fyn og havde især fordel af det store sildefiskeri i Øresund. Handelen foregik på det store torv og markedsplads, hvor også rådhuset lå. Byens betydning understreges af tilstedeværelsen af de to sognekirker, det rige franciskanerkloster samt en Sankt Jørgensgård for spedalske patienter (nævnt første gang i 1291), der er udgravet ad flere omgange, bl.a. i 2006, hvor der blev fundet lag tilhørende beboernes boliger.
Byens gadeforløb var formentlig fastlagt meget tidligt. De tidligste gader var blot jordveje, men de blev visse steder forbedret med udlægning af planker eller tagtegl. I 2015 kunne en udgravning i Møllergade desuden dokumentere en 1300-tals renovering af gaden, hvor jordvejen erstattedes med en belægning af småsten. Langs gaderne lå byens bindingsværkshuse tæt og var kun adskilt af smalle passager.
Havnen har efter al sandsynlighed haft stor betydning i middelalderen pga. byens handel. Man ved dog ikke meget om dens anlæggelse og tidlige udvikling. Undersøgelser indikerer, at der ved Brogade/Gaasetorvet og Skt. Peder Stræde blev etableret et bolværk ud i Svendborg Sund i slutningen af 1200-tallet. I samme område er desuden afdækket trækonstruktioner fra begyndelsen af 1300-tallet, der tolkes som primitive landingshavne. Med tanke på Svendborgs store betydning for den lokale søfart er der bemærkelsesværdigt få arkæologiske fund, som belyser besejlingen af byen. Fund af genstande, som har været smidt over bord eller tabt fra skibe oplagt i naturhavnen Thurø Bund, vidner dog om Svendborgs historie som hjemmehavn for sejlskibe.
Svendborg havde monopol på oplandshandelen på Tåsinge, de andre sydfynske øer og landområderne omkring byen, hvilket gav grobund for betydelig handel og omfattende søfart. Svenskekrigene 1657-60 betød dog en ende på de gode tider, idet byens skibe blev ødelagt, og Svendborg havde svært ved at rejse sig igen. Ved den første folketælling i 1769 var der 1.815 indbyggere. Først i 1700-tallets slutning kunne byen igen hævde sig som provinsens vigtigste søfartsby, og der blev i 1800-tallet etableret et omfattende skibsbyggeri, ligesom havnen blev moderniseret. De fleste af byens mandlige indbyggere levede af håndværk eller søfart, men handel, især eksport af landbrugsvarer og import af kolonial- og kramvarer, spillede også en vigtig rolle. I 1790 var der 29 købmænd i Svendborg, hvoraf hen ved halvdelen boede i Møllergade. Blandt disse 29 var der fem deciderede storkøbmandsfamilier, som bl.a. konsoliderede deres formuer gennem indbyrdes giftermål.
For Svendborg blev 1800-tallet en lang vækstperiode. Havnen udbyggedes flere gange, og der kom en dampskibsbro i 1854. Vejnettet blev udvidet, og der åbnede jernbaner mellem Odense og Svendborg i 1876, Svendborg og Nyborg i 1897 og Svendborg og Faaborg i 1916; Sydfyenske Dampskibsselskab blev etableret i 1876. Den forbedrede infrastruktur stimulerede byens økonomiske liv, og indbyggertallet voksede fra 4.556 i 1850 til 11.543 i 1901.
Tilvæksten sprængte byens rammer og ændrede dens udseende. Beboelsen grupperede sig i bykvarterer efter social status med de rige på store grunde langs Svendborg Sund og middelklassen langs indfaldsvejene, mens de fattigste blev boende til leje rundtomkring i byen. Svendborg blev centrum for en omfattende levnedsmiddelindustri, ligesom der kom en større jern- og maskinindustri. Fra 1860’erne blev Frederiksø centrum for skibsbyggeri med Svendborg Værft (grundlagt 1916) som en af byens store arbejdspladser sammen med industrihavnen. Svendborg blev også en uddannelsesby med bl.a. navigationsskole (1852), sømandshøjskole, senere benævnt søfartsskole (1906), realskole (1872; 1909 omdannet til gymnasium), handelsskole (1878) og teknisk skole (1862). Tilsvarende kom andre offentlige institutioner til, fx fattiggård (1872), epidemisygehus (1874 med kraftig udbygning 1890-91), bibliotek (1913) og alderdomshjem (1911).
Byens fortsatte vækst fra 18.017 personer i 1921 til 24.203 i 1970 betød, at byområdet blev udvidet. I 1926 blev en del af Tved Sognekommune mod nord indlemmet, og udbygningen af den nye bydel tog for alvor fart i efterkrigstiden. Sørup-Sankt Jørgens Sognekommune mod vest blev indlemmet i 1931; her blev landsbyen Kogtved til boligbydel og voksede senere sammen med Rantzausminde-Fisk-op Huse. I det østlige Svendborg kom der etagehusblokke fra slutningen af 1960’erne. I 1950 var 44 % af borgerne beskæftigede ved håndværk og industri, bl.a. i havneområdet. Havnens rolle som industrikvarter blev i slutningen af 1960’erne afløst af et nyt industriområde nord for byen, baseret på lastbiltransport. Også frugtavl spillede en væsentlig rolle, og Nordeuropas største frugtlager blev placeret i Svendborg i 1930 på Abildvej tæt på Nyborgbanen og havnen. Offentlige velfærdsinstitutioner fortsatte med at blive etableret, herunder nye skoler og børnehaver, søfartsskole i Kogtved (1943) og maskinmesterskole (1965).
Indbyggertallet steg jævnt til 27.093 i 1994, hvorefter det stabiliserede sig på ca. 27.000; i 2006 var der 27.199 indbyggere. Den ringe vanddybde og de snævre, snoede løb i Svendborg Sund vanskeliggjorde havnens udvikling, da de stadig større skibe ikke kunne anløbe havnen, og der kom heller ikke nævneværdig containertrafik. Lukningen af store industrivirksomheder som Kellogg’s i 1997 og Svendborg Værft i 2001 var med til at forvandle Svendborg til et centrum for service, oplevelser og velvære. Administration og service blev hovederhvervet i 2002, hvor 54 % havde deres indkomst inden for disse områder, mens håndværk og industri kun beskæftigede 21 %.
