Vejerslev Kirkes særprægede arkitektur er med til at røbe en tidligere dobbeltrolle som både sognekirke og kirke for et kloster af benediktinerordenen. Bygningen består af to romanske bygningsdele: et ældre skib opført af jernal, som i dag står kalket, hvortil slutter sig et senere østparti med korsarme opført af granitkvadre. Kun den nordre korsarm er bevaret, og også de oprindelige apsider på både kor og korsarme er væk i dag.
Opførelsen af kirken af jernal synes at skulle placeres i første del af 1100-tallet, og den fornemme arkitektur kunne tyde på, at bygherren var en lokal stormand. Ved klosterets stiftelse, formentlig i anden halvdel af 1100-tallet, blev kirkens østparti ombygget for at leve op til benediktinerordenens ønsker.
Der er i kirkens arkitektur ikke kendte spor, som kunne pege i retning af, hvor klosteranlægget var placeret.
