På en velafgrænset lav morænebakke helt omgivet af fjordens strandenge lå benediktinerklosteret i Essenbæk Sogn. Det var Djurslands eneste middelalderlige kloster, oprettet ca. 1140. Det lå afsondret fra omverdenen, men var alligevel synligt på lang afstand både for sejlende på fjorden og fra de nærmeste landsbyer. Adgangen til munkeklosteret foregik ad den stadig benyttede hulvej fra sydvest, hvis nutidige forløb synes at være det samme som i middelalderen.
Der vides ikke meget om klosterets historie, men Essenbækårbogen, der blev ført af en konventets brødre, og som rummer en liste over historiske begivenheder for årene 1020‑1323, oplyser bl.a., at der var jordskælv i Danmark i 1173, samt at vinteren i 1323 var så streng, at folk red på havene.
Klosteret blev konfiskeret ved Reformationen. Det vides ikke, hvornår bygningerne blev revet ned, men ruinerne blev delvis udgravet i 1898 og 1925. Alle kendte bygninger synes at have været opført i tegl, og kirken havde et ret afsluttet kor. Nordvest for kirken og sammenbygget med denne lå klosterbygningerne, der rummede flere byggefaser. Blandt fundene er en brønd og murede grave. Til klosteret hørte også en ladegård, som lå vestligt på holmen, hvor også den senere ladegård lå. Cirka år 2000 blev der opført en beskæmmende ladebygning direkte oven på kirketomten.