Selon la mythologie, Anafi a pris son nom du fait qu'elle a émergé ("anafanike" en grec) des eaux de l'Égée, comme Apollon le désirait, pour devenir un refuge pour les Argonautes qui étaient épuisés à cause de la tempête. Les derniers ont bâti le temple d'Apollon, afin de l'honorer, près du Monastère de Zoodochos Pigi. Chaque année ils honoraient le dieu par une célébration, les "Hyacinthies".
Selon des sources différentes, l'île était la patrie d'Éole, le dieu des vents, qui a offert l'outre d'Éole. Des Phéniciens et des Doriens se sont installés à Anafi, ils ont habité le centre de l'île et ils on fondé la ville d'Anafi.
Pendant le 5ème siècle, Anafi est devenue membre de la Confédération Athénienne. Au Moyen Âge l'île appartenait au Duché de Naxos et elle était gouvernée par des souverains vénitiens, qui n'ont pas arrivé à la libérer des attaques des pirates, et les résidents ont été obligés à avoir recours à la Crète. En 1537 elle a été pillée par Barberousse, elle a été prise par les Turcs, elle à participé à la Révolution grecque en 1821 et, enfin, elle a été attachée à l'état Hellénique en 1832.
Pendant le règne d'Othon, simplement parce que les résidents d'Anafi étaient les meilleurs ouvriers du bâtiment de Grèce, beaucoup d'eux se sont déplacés vers Athènes, sous l'ordre du roi, afin de bâtir le palais royal. Ils se sont installés au pied de l'Acropole et ils ont crée leur quartier propre ("Anafiotika"), qui était une micrographie de leur île, et jusqu'à présent continue à être un joyau architecturel d'Athènes.