Omkring år 1900 var Brandts Klædefabrik Odenses største arbejdsplads. Her blev vævet stoffer, indtil fabrikken lukkede i 1977. Det efterlod 18.000 ubenyttede etagemeter – fordelt på to store femetagers fabriksbygninger samt en del mindre bygninger, der lå på hver side af den såkaldte Brandts Passage. Genanvendelse af industribygninger var på det tidspunkt ikke så almindeligt, men i 1980 valgte man Kristian Isager og Jørgen Stærmoses plan om at tilstræbe en ligelig fordeling mellem private og offentlige formål i bygningerne. Hele komplekset blev købt af to købmænd, og Odense Kommune blev tilbudt en lejeordning på 7.500 m2 med forkøbsret, som man senere benyttede sig af. Renoveringen, der varede til 1986, lagde vægt på at bevare nogle af de originale elementer fra fabrikken som håndvaske, garderober og de store jernindrammede vinduespartier. Trægulvene blev renset, men de gamle industrivæve havde efterladt et blivende lag olie i gulvene og en karakteristisk lugt, der endnu eksisterer.
I stedet for et museum valgte man at skabe en kunsthal, hvor man kunne vise skiftende udstillinger og undgå en fast samling. Den arbejdede man til gengæld på at skabe med Museet for Fotokunst, Danmarks første. Endvidere flyttede Danmarks Grafiske Museum, senere Mediemuseet, ind med arbejdende værksteder for historisk trykkerivirksomhed, papirproduktion og bogbinderi. På den øverste 4. etage flyttede Det Fynske Kunstakademi ind. I stueetagen var der boghandel, et videotek med en storskærm samt et auditorium.
Allerede et par år tidligere var den private del af komplekset begyndt at udfolde sig. En cafébiograf blev åbnet, flere restauranter, blomsterhandler, plakatgalleri, frisør m.m. Man samarbejdede om at arrangere udendørs begivenheder med dans, musik, fællesspisning og markeder. På den fælles amfiscene var der plads til både professionelle og amatører. Stedet summede af liv, og i 1988 modtog Brandts Klædefabrik prisen som European Museum of the Year. Det var første gang, at prisen gik til et museum i Norden, og den blev givet for den specielle genanvendelse af en tidligere industribygning og for samarbejdet mellem privat og offentlig virksomhed. Kunsthallen fik også anerkendelse for de årlige sanseudstillinger for børn, der blev skabt af billedkunstnere i samarbejde med institutionens værksted.
I 2005 lykkedes det at få finansieret en udvidelse af fabrikken med en 400 m2 sal med ovenlys, 7 m til loftet og klimastyring. Denne bygning kunne endvidere huse private virksomheder. Bygningen var tegnet af Kjaer & Richter A/S, der samtidig stod bag en administrationsbygning i tre etager. Allerede i 1991 var der blevet bygget et musikbibliotek af Kristian Isager beliggende ud til den store plads mellem bygningerne; fra 2013 anvendt til Studenternes Hus. Samme år valgte Odense Kommune at fusionere det samlede Brandts med Fyns Kunstmuseum. Mediemuseet flyttede og blev en del af Odense Bys Museer, og i 2017 flyttede Det Fynske Kunstakademi ind på det tidligere kunstmuseum.
