I Assens lå et karmeliterkloster, Vor Frue Kloster, i de sidste årtier af middelalderen. Det blev oprettet omkring år 1500, da ordenen overtog et eksisterende helligåndshospital, og det lå på forstranden tæt ved byens gamle havn og i nærheden af byens nordlige udfaldsvej igennem Ramsherred port. Initiativtagerne til klosteret ser ud til at have været provsten i Gamtofte og kong Hans. Det synes hurtigt at have fået et solidt fodfæste i byen, da sognepræsten snart klagede over, at sjælegaverne nu tilflød tiggerbrødrene i stedet for hans egen kirke. Klosterets prior, Morten Pedersen, skulle endvidere have været blandt sin tids bedste danske prædikanter.
I 1515 kom det til en strid med den stiftende provst, da ordenen ikke som lovet havde ladet opføre et nyt hospital til afløser for helligåndshuset. Helt galt gik det i slutningen af 1520’erne, da karmelitermunken Peder Laurentsen overførtes hertil og snart efter overgik til den lutherske lære, som han blev en af Danmarks fremmeste prædikanter for – og dermed medvirkede stærkt til at vende Assens’ borgere imod sit eget kloster. Allerede i 1530 kunne Assens erklære sig evangelisk-luthersk, og klosteret måtte lukke, da Frederik 1. tillod byrådet at omdanne klostergrunden til gode købstadsbygninger, som kunne bringe nytte og indkomst til byen.
I begyndelsen af 1900-tallet blev der nord for Strandgade fundet både begravelser og murværk i munkesten. Det må være rester af enten hospitalet eller klosteret, men fundene giver ikke mulighed for at sige noget nærmere om anlæggets udseende.
