Hertug Hans den ældre oprettede et hospital, datidens betegnelse for et fattighus, ud for Sønderport i Haderslev ved fundats af d. 6. januar 1569. Det gav husly og mad til fattige ældre fra byen. Det økonomiske grundlag for stedet kom fra 41 fæstegårde. Hovedbygningen med hospital og kirke udgjorde en længe. 1637‑38 blev tilføjet en længe mod nord og i 1726 en længe mod syd, hvorved hovedbygningen fik sin T-form. Annekset blev opført i 1787 ved bygmester Jacob Hoepfner. Komplekset blev fredet i 1921.
Stedet fortsatte som plejehjem for primært kvinder, og de sidste beboere flyttede ud i 1983. Siden har Haderslev Domsogn brugt kirken som annekskirke og hospitalet til menighedshus samt lejligheder. Anlægget blev restaureret i hhv. 1988‑89 og 2011.
