Kun én bevaret skriftlig kilde, der stammer fra 1203, fortæller, at der engang stod et kloster ved kirken i Vejerslev. Til gengæld er kirkebygningen fortsat bevaret, og dens særprægede arkitektur er med til at røbe en tidligere dobbeltrolle som både sognekirke og kirke for et kloster af benediktinerordenen. Ved klosterets stiftelse, formentlig i anden halvdel af 1100-tallet, blev kirkens østparti ombygget for at leve op til benediktinerordenens ønsker. Det antages, at klosteret blev flyttet til Alling Sø nær Grønbæk kort før 1268.
Der er i kirkens arkitektur ikke kendte spor, som kunne pege i retning af, hvor klosteranlægget var placeret.
