Это место паломничества и духовного уединения служит приютом для монахов-кармелитов. Монастырь был святым местом отдыха и молитвы для паломников, совершавших поездку в Кентербери и к могиле Бекета. Кармелиты, жившие в монастыре, фигурируют в «Кентерберийских рассказах» Джеффри Чосера, в главе «Рассказ причетника».
Автор знаменитого «Дневника» Сэмюель Пепис посетил Эйлсфорд 24 марта 1669 г. и описал его как «весьма живописно расположенный у реки… площадка вокруг него, стена и постройки превосходны».
Кармелиты первоначально жили на горе Кармел на Святой Земле, а в Эйлсфорде обосновались в 1242 г., когда сэр Ричард Грей из Кондора, один из рыцарей — участников крестовых походов, подарил им свой дом. Поскольку переход по мосту через реку в этом месте был бесплатный (большинство таких переходов облагалось в те времена налогом), этот путь стал популярен среди «простых людей». Монастырь также считали святым местом и убежищем для всех.
Монастырь был конфискован у ордена Генрихом VIII в 1538 г., после чего кармелиты практически полностью исчезли из Англии. Однако не так давно они вернулись, а в 1948 г. восстановили монастырь в Эйлсфорде, до сих пор являющийся святым местом паломничества.