Man ved ikke nøjagtig hvornår klostret på Eskilsø blev grundlagt, men man formoder det blev oprettet i 1130' erne som et kannikesamfund.
Nogle formoder det er blevet oprettet af den senere ærkebiskop Eskil, mens han var biskop i Roskilde - men det er og bliver formodninger.
Vi ved, at der i 1160'erne gik historier om klosterbrødrenes udskejelser. Kanikerne holdt gilder med deres verdslige venner og veninder i spisesalen. Der blev drukket og sunget og danset kædedanse natten lang, så der har vel næppe været tid til lovsang. Absalon tilkaldte sin ungdomsven Wilhelm fra Paris, for at han skulle forestå et augustinerkloster på Eskilsø.
Wilhelm og 5 andre munke blev modtaget af Absalon og kong Valdemar i Ringsted 18. august 1165. Efter et par dage i Ringsted og et par dage i bispegården i Roskilde, kom Wilhelm og de fem munke til Eskilsø. Det gik ikke stille af. Den 25 August 1165 ankom Absalon til Eskilsø, og det blev slået fast, at de tilbageblevne munke skulle underkaste sig augustinerordenens strenge tugt under Wilhelms ledelse.
Med sig fra Frankrig havde Abbed Wilhelm sit herbarium med frø og planter, og han er således den der indfører havebruget i Norden (på Eskilsø). Vi har stadig spor efter dette. Hyld, tandbæger, hundetunge, æselfoder, bulmeurt - og tidligere skal der være fundet skarntyde.
Man prøvede at sætte ild til Abbedens sengeleje - men han brændte ikke inde. Ilden gik ud - måske som et kristent mirakel - måske fordi Wilhelm var sengevæder.....En nat blev én af klosterbrødrene hvisket i øret: "Vid, at jeg har været herre over dette sted, og at jeg er alle drankeres og skørlevneres foresatte! Men ved Eders abbeds hidkomst lider jeg vold, og det skal ikke blive til hans gavn. Råd abbeden til at afstå fra, hvad han har begyndt...."
10 år efter Wilhelms ankomst til Eskilsø flyttede han klostret til Æbelholdt, og overlod den daglige drift af ladegården til en klosterbroder. Resterne af klosterkirken finder vi idag på det højeste punkt på den nordlige ende af øen, og selve klostret har ligget lige syd for kirkeruinen.
