Engang i 1460’erne, muligvis i 1469, blev der i Sæby oprettet et kloster af karmeliterordenen. Det blev stiftet af biskop Jep Friis af Børglum, formentlig for at styrke den lille bispelige havnebys status som købstad. Klosteret var indviet til Jomfru Maria, og dets navn Mariested blev herefter også brugt om byen. Karmeliterbrødrene overtog den eksisterende sognekirke på den for ordenen usædvanlige betingelse, at den skulle fungere som kombineret kloster- og sognekirke. Selve klosteret blev anlagt nord for kirken, som brødrene lod udvide betydeligt. Ved Reformationen var der dog kun tre brødre tilbage, da konventet i 1536 opløste sig selv og overdrog klosterbygningerne til byen. Kirken fortsatte som sognekirke, i dag Sæby Kirke, mens resten af klosteret blev revet ned i det følgende århundrede.
Der er i dag intet tilbage af klosterets bygninger. Der er dog fundet spor af en østfløj med korsgang, som også har løbet langs kirkens nordside. Østfløjen må have rummet munkenes kapitelsal i understokværket og dormitoriet (sovesalen) i overstokværket. Det formodes tillige, at klosteret også har omfattet en nordfløj med refektorium (spisesal) og antagelig også en vestfløj. De fire fløje har formentlig været forbundet af korsgange omkring en lukket klostergård.
