Franciskaner- eller Gråbrødreklosteret i Svendborg blev stiftet i 1236 på initiativ af byens slotsfoged, Astrad Frakke, der selv senere blev gråbroder i Roskilde. Inspirationen hertil kan han have fået fra den portugisiske prinsesse Eleonore, gift med Valdemar den Unge.
Tiggermunkene blev skænket et grundstykke på et skrånende terræn, hvor Svendborg Station ligger i dag. For at kunne opføre klosteret med et nogenlunde plant gulvniveau var det nødvendigt med betydelige opfyldninger og funderingsarbejder. Relativt kort tid efter klosterets grundlæggelse planlagde munkene at bygge en forholdsvis kort, to fag lang kirke, hvis understokværk skulle udligne terrænfaldet. Nord for kirken lå øst-, nord- og vestfløje ligeledes med et understokværk, som omsluttede en klostergård på blot ca. 8 x 12 m. Disse bygninger, der stod færdige kort efter midten af 1200-tallet, havde romansk stilpræg. Som i andre klostre menes østfløjen at have rummet kapitelsal og dormitorium, mens nordfløjen nok var køkken og refektorium. Pladsmangel må være årsagen til denne komprimering.
Klostergrunden blev udvidet i 1267 med en gave fra biskop Regner af Odense, der selv var franciskaner, og i 1279 blev junker Abel Abelsen begravet i klosterkirken.
Gaven kan være årsagen til, at kirken blev udvidet mod vest, så længden blev over 40 m. Denne langhuskirke minder i sine dimensioner om de øvrige af tidens tiggerklosterkirker og stod færdig ca. 1275-1300. Knap 100 år senere blev kirken ombygget i højgotisk stil. Ved ombygningen blev der tilføjet et sideskib på fem fag i syd, som åbnede sig mod skibet via spidsbuede arkader båret af ottekantede søjler. I vestgavlen indsattes en spidsbuet og rigt profileret portal sat af glaserede sten. Kapitælerne i kirken var stenhuggerarbejder i kridtsten. Mange af dem blev taget ud ved nedrivningen og findes i dag på Nationalmuseet. De har stadig tydelige middelalderlige farvespor. Den højgotiske kirke indviedes i 1361. Kirkens forlængelse medførte en tilsvarende forskydning af vestfløjen mod vest.
Gråbrødrene, der som tiggermunke var afhængige af omgivelsernes velvilje, nød byens støtte op gennem middelalderen, hvor klosteret udbyggedes. I 1472 blev konventet reformeret efter franciskanerordenens observantiske linje. Den lokale opbakning anedes endnu i reformationsårene, idet Frederik 1. i 1530 og 1532 tillod byen at overtage kirke og kloster til eget brug, uden at dette tilsyneladende skete, og formentlig levede gråbrødrene fortsat i Svendborg helt frem til Reformationens endelige indførelse 1536-37. Klosterkirken blev omdannet til begravelseskapel, mens vestfløjen indrettedes til først latinskole og siden dansk skole; begge bygninger blev nedrevet i 1828, hvor også resten af klosteret for længst var væk.
