Согласно мифологии топоним Анафи (родственный слову со значением «появиться, показаться») связан с тем, что остров появился из вод Эгейского моря по желанию Аполлона для того, чтобы стать убежищем измученных грозой аргонавтов. Последние в благодарность построили на острове храм Аполлона Астеальта, или Эглиту, недалеко от нынешнего монастыря Живоносного Источника. Каждый год в честь бога Аполлона устраивался праздник «Иакинтия».
По другим источникам, остров был родиной Эола, бога ветров, который вручил здесь Одиссею мех с завязанными в нем ветрами.
Анафи населяли финикийцы, а позднее – дорийцы, которые основали на острове город.
В 5 веке до н.э. Анафи присоединился к Афинскому морскому союзу. В средневековье остров был частью Герцогства Наксоса и управлялся венецианцами, которые не могли избавить его жителей от пиратских набегов. В связи с этим многие анафийцы уехали на Крит.
В 1537 году Анафи был разграблен пиратом Барбаросой, а затем оказался во власти турок. Остров принял активное участие в восстании 1821 года и в 1832 году вошел в состав греческого государства.
По причине того, что жители Анафи признавались лучшими в Греции строителями, в годы правления Отона многие из них по королевскому приказу переехали в Афины и участвовали в строительстве дворцов. Они селились у подножия Акрополя, где образовалась целая община «Анафиотика», ставшая мини-копией их родного острова и сохранившимся до наших дней архитектурным украшением греческой столицы.