Laut Mythologie, die Insel ist aus der Ägäis, nach dem Wunsch Apollos, aufgetaucht, damit die Argonauten, nach einem Sturm, Zuflucht zu finden. So bekam Anafi ihren Namen, sie tauchte auf (griech. „anafanike“). Die Argonauten bauten den Tempel von Apollo Astealtas, dem Gott zu Ehren, in der Nähe des Klosters der Zoodochos Pigi. Jedes Jahr wurde der Gott mit dem Fest „Yakintheia“ verehrt.
Andere Theorien meinen, dass die Insel die Heimat des Windgottes Aiolos war, der Odysseus Schläuche mit Winden gab. Anafi wurde von Phönizier besiedelt und danach von Doriern, die das Zentrum der Insel bewohnten und die Stadt Anafi gründeten.
Im 5. Jh. v. Chr. wurde Anafi Mitglied des Attischen Seebundes, im Mittelalter gehörte die Insel dem Herzogtum von Naxos und hatte venezianische Herrscher, die aber die Insel von den Angriffen der Piraten nicht schützen konnten und deswegen flohen viele Inselbewohner auf die Insel Kreta. 1537 wurde die Insel vom Pirat Barbarossa geplündert, später eroberten die Osmanen Anafi, deren Bewohner sich aktiv an der Griechischen Revolution von 1821 beteiligten und 1832 wurde die Insel in das neue griechische Staat integriert.
Die Anafioten waren die besten Bauarbeiter Griechenlands und deshalb umsiedelten viele Inselbewohner auf Befehl des Königs Otto nach Athen um die Paläste zu bauen. Sie haben sich im Fuß der Akropole von Athen niedergelassen und haben ihre eigene Nachbarschaft gegründet, die „Anafiotika“, die eine Miniaturausführung ihrer Insel ist und bis heute ein architektonisches Schmuckstück der Hauptstadt ist.