Især ønsket om afsondrethed må have været grunden til, at ikke blot ét, men to klostre i 1100-tallet forsøgte at slå sig ned på den lille Kalvø i Skanderborg Sø. Først kom benediktinerne, og i 1168 overgik klosteret til den gruppe cisterciensermunke, som i 1172 drog videre og grundlagde klosteret i Øm.
På Kalvø er der på den lave østlige del fundet rester af en bygning på 13,5 × 9,5 m, hvor en del af byggematerialet var frådsten. Det tyder på en datering til tidlig middelalder, og formentlig er der tale om en rest af klosteret, måske kirken.
