Na vrcholku hory Filérimos kdysi stávala akropole Iályssu. Jméno hora získala ve středověku po poutníkovi, který se zde usadil. V překladu jeho jméno znamená přítel osamocení.
Za Byzantinců na vrcholku vznikla nejprve pevnost, později kostel. Kostel byl v 13. století zasvěcen Panně Marii. Před klášterem lze ještě spatřit základy a zbytky sloupů chrámu Athény, který tu stával zhruba v době 200 let před naším letopočtem. Pod chrámem se nacházel jeskynní kostel sv. Jiří, kde jsou zbytky nástěnných maleb z 15. století. Kousek od kláštera začíná i křížová chodba.
