Kapitelklosteret, det ældste af Viborgs klostre, menes oprettet i begyndelsen af 1100-tallet, tæt ved domkirken, hvor de augustinske kannikker ved Vor Frue Kloster tillige tjente som assisterende domkapitel for biskoppen. De augustinske kannikker ved domkapitlet fik formentlig i midten af 1100-tallet søsterligt selskab i Viborg i form af et augustinsk nonnekloster, der anlagdes ved Sankt Budolfi Sognekirke i byens sydvestlige hjørne. Det er blevet foreslået, at nonneklosteret blev stiftet på initiativ af biskop Niels i slutningen af 1100-tallet, men reelt omtales det ikke i kilderne før i 1263.
Det augustinske kannikekloster blev nedlagt i 1440, idet domkapitlet da blev »sekulariseret«, hvilket betød, at kannikkerne ikke længere skulle leve efter nogen klosterregel, ligesom de heller ikke behøvede at bo sammen. Opløsningen synes også at have medført nedlukning af byens augustinske nonnekloster, hvorefter en del af nonnerne menes at være blevet overført til Asmild Kloster på den anden side af søerne.
Efter 1440 flyttede kannikkerne ud i privatresidenser i karréerne omkring kirken, mens klosteranlægget efter alt at dømme blev omdannet til bispegård. Bygningskomplekset lå nord for domkirken, og rester stod frem til 1871 i form af »Stænderhuset«, en velvoksen teglstensbygning, 10 m bred og mere end 40 m lang, i to stokværk med hvælvede kældre i østenden. Om denne bygning tilhørte klostertiden eller bispegårdstiden, vides ikke. Til klosteret må desuden have hørt andre, i dag ukendte bygninger.
