Efter Reformationen konfiskerede kronen biskop Jens Andersen Beldenaks befæstede bispegård fra 1504‑08 og skødede den i 1579 til købmand Oluf Bager. I årene 1602‑30 ejede familien Akeleye gården, hvorefter rigsråd Jørgen Brahe købte den. Karen Brahe arvede i år 1700 gården, der lå på Albani Torv. I 1716 godkendte Frederik 4. hendes fundats for stiftelsen af Odense Adelige Jomfrukloster til otte ugifte adelige og belæste kvinder. Der medfulgte personale samt hendes bibliotek på ca. 4.500 bøger og håndskrifter. Gården bestod da af en grundmuret hovedbygning og to bindingsværkslænger i tre etager. I 1974 fusionerede jomfruklostrene i Odense og Roskilde til Roskilde Kloster, Den Skeel-Iuel-Brahe’ske Stiftelse, og beboerne samledes i Roskilde. Bygningen blev fredet i 1918. I 2007 solgte Odense Kommune den til Realdania Byg (i dag: Realdania By & Byg), som 2007‑13 forestod en renovering. I dag udlejes det gamle kloster til Karen Brahe Selskabet, stiftet i 1987, samt Syddansk Universitet.