Tvilum Kloster blev stiftet af biskop Gunner af Ribe i årene 1246‑49, efter at han havde fratrådt bispestolen. I sin embedstid havde han forgæves søgt at reformere domkapitlet i Ribe efter Augustinerreglen, men nu valgte han i stedet at skænke sit fædrene gods i Aarhus Stift til oprettelsen af et augustinsk kannikekloster ved Gudenå. Her opførtes med tiden et firlænget kloster med kirken som nordfløj, men de første klosterbygninger har muligvis ligget på nordsiden af kirken. De første munke kom fra Dalby Kloster i Skåne. Klosteret blev voldgæstet af kong Christoffer 1. og Aarhusbispen i 1250’erne og optræder i de pavelige procesakter fra denne tid.
Ved Tvilums gamle sognekirke et par kilometer mod nord anlagdes en avls- og ladegård, der fungerede som centrum for klosterets godsbesiddelser, der især koncentrerede sig til sognene Tvilum, Torup og Gjern.
I 1428 overtog kannikeklosteret noget af det gods, der havde været tiltænkt et mislykket forsøg på at oprette et augustinsk nonnekloster i Søby. Kannikkerne, der var uddannede præster, havde foruden klosterkirken ansvar for gudstjenesten i Tvilum (ladegården) og Gjern Kirke, senere også i Torup. Deres kloster blev tillige anvendt til beværtning af kongens omrejsende hof, og kongen lod endda kannikkerne passe sine heste og hunde.
Tvilum Kloster blev nedlagt ved Reformationen i 1536, hvor flere af kannikkerne i stedet blev protestantiske sognepræster. Klosterets gods blev overtaget af kongen og lagt under Silkeborg Slot. Klosterkirken afløste kirken ved ladegården som sognekirke, mens ladegården selv blev omdannet til herregården Tvilumgård. Resten af klosteret synes nedrevet kort efter opløsningen.
Klosterkirken, indviet til Vor Frue, er bevaret som nutidig sognekirke. Stedets oprindelige, romanske sognekirke, der kendes fra skriftlige kilder samt fra forskellige romanske bygningsdetaljer genanvendt i Tvilumgård, lå formentlig ved Tvilumgård, hvor også klosterets ladegård var placeret, men sognekirken forsvandt efter Reformationen.
Forskellige tilmurede døråbninger i kirkens kor afslører placeringen af klosterets bygninger. På nordsiden af kirken har der fra begyndelsen været et lille sakristi, som en nu tilmuret, rundbuet døråbning førte ind til. Endnu en tilmuret, rundbuet dør i korets nordmur antyder, at klosterbygningerne i den første tid også var placeret nord for kirken.
Af uvisse årsager flyttede munkene senere om på kirkens sydside. Her opførtes i løbet af senmiddelalderen tre klosterfløje, som dannede et ret betydeligt anlæg på ca. 45 × 40 m. Alle spor af klosterfløjene er i dag borte, men deres placering er fastslået ved flere mindre arkæologiske udgravninger.
