Само название острова родилось из мифа: когда Аргонавты, возвращаясь из Колхиды, оказались в опасности из-за страшной бури посреди ночи, Аполлон метнул свою стрелу и заставил «явиться» из моря остров, чтобы они нашли убежище — Анафи. В знак благодарности они основали святилище Аполлона Эглита, культ которого остров хранил живым на протяжении веков.
В древности Анафи была небольшим, но организованным дорийским городом, с акрополем на месте Кастели и важным святилищем Аполлона Эглита у подножия Каламоса. В эллинистическую эпоху остров некоторое время находился под влиянием египетских Птолемеев, а остатки стен, саркофагов и храмов свидетельствуют о непрерывной жизни в римские и раннехристианские времена.
После византийского периода остров вошёл в состав Герцогства Архипелага, основанного Марко Санудо в XIII веке, и перешёл в руки венецианских семей; с той эпохи сохранились руины замка над Хорой. В 1537 году Анафи, как и остальные Киклады, была подчинена Османской империи, сохранив при этом свой изолированный, сельский характер.
Остров вошёл в состав греческого государства после Революции 1821 года. В более поздние времена прославленные строители-анафиоты возвели в Афинах, у подножия Акрополя, живописный квартал Анафиотика, перенеся туда архитектуру своего родного острова. В то же время изолированность Анафи сделала её местом политической ссылки, а сегодня экономика острова держится на мелком земледелии, животноводстве и спокойном, альтернативном туризме, ищущем его покой.