Esbern Snares datter, Ingeborg af Kalundborg, og svigersøn, Peder Strangesen, var formentlig involveret i byggeriet af det måske mest originale hjemlige bidrag til verdensarkitekturen, nemlig den enestående Vor Frue Kirke i Kalundborg, byens femtårnede vartegn, der blev bygget i årtierne omkring 1225.
Over et nøje udtænkt målesystem, der tager udgangspunkt i et klart defineret geometrisk mønster, er kirken opført som en kvadratisk centralbygning med fire polygonalt afsluttede kors arme mod verdenshjørnerne. Herover rejser sig de fem tårne, hvoraf det midterste og højeste, Mariatårnet, blev genrejst 1867‑71 efter en sammenstyrtning i 1827. Den imponerende bygning skal ses som en fysisk manifestation af Det himmelske Jerusalem, som beskrevet i »Johannes’ Åbenbaring« i Det Nye Testamente og kendt fra talrige samtidige arkitekturmodeller i form af fx alterretabler og røgelseskar, men et præcist forbillede findes ikke. Kirkens former synes dog delvis inspireret af Rhinlandets senromanske kirkebyggeri.
Kirken, der menes opført af medlemmer af den magtfulde Hvideslægt, var i middelalderen under kongelig patronatsret, dvs. at kongemagten besad retten til kirkens indtægter, men også forpligtelsen til vedligeholdelsen samt kaldsretten. Kirken er sparsomt omtalt i de skriftlige kilder, men der kendes bl.a. til, at der var seks altre i kirken før Reformationen.
