I 1482 skænkede Aarhusbispen Jens Iversen Lange et kapel beliggende på Brobjerg til karmeliterordenen og gav tilladelse til, at de kunne opføre et kloster på stedet. Kapellet var viet til Sankt Jørgen, Sankt Knud Konge (Knud den Hellige) og Sankt Knud Hertug (Knud Lavard). Placeringen ved byens sydlige indfaldsvej tyder på, at det tidligere fungerede som et kapel for vejfarende. For rejsende fra syd må kapellet og siden klosteret have udgjort det første indtryk af byen. Det blev nedlagt ved Reformationen, og alle spor er i dag borte.
Arkæologiske udgravninger i karréerne imellem Frederiksgade og Christiansgade har dog afsløret, at klosteret sin korte levetid til trods nåede at blive udbygget til et stort, firfløjet anlæg, hvor kirken, der udgjorde den sydlige fløj, var mere end 50 m lang og havde et sideskib mod syd. Alle bygninger var opført af tegl.
