Der Name der Insel selbst entstand aus dem Mythos: Als die Argonauten auf der Rückkehr von Kolchis nachts von einem furchtbaren Sturm bedroht wurden, schoss Apollon seinen Pfeil ab und ließ eine Insel aus dem Meer „auftauchen“, damit sie Zuflucht fänden — Anafi. Aus Dankbarkeit errichteten sie ein Heiligtum für Apollon Aigletes, dessen Kult die Insel über Jahrhunderte hinweg lebendig hielt.
In der Antike war Anafi eine kleine, aber organisierte dorische Stadt, mit einer Akropolis an der Stelle des heutigen Kasteli und dem bedeutenden Heiligtum des Apollon Aigletes am Fuße des Kalamos. In hellenistischer Zeit stand sie zeitweise unter dem Einfluss der Ptolemäer Ägyptens, während die Überreste von Mauern, Sarkophagen und Tempeln von einem kontinuierlichen Leben in römischer und frühchristlicher Zeit zeugen.
Nach der byzantinischen Zeit wurde die Insel Teil des Herzogtums des Ägäisches Meeres, das Marco Sanudo im 13. Jahrhundert gründete, und ging in die Hände venezianischer Familien über; aus jener Zeit stammen die Ruinen der Burg über der Chora. 1537 wurde Anafi, wie auch die übrigen Kykladen, dem Osmanischen Reich unterworfen, behielt jedoch seinen abgeschiedenen, ländlichen Charakter bei.
Die Insel wurde nach der Revolution von 1821 in den griechischen Staat eingegliedert. In neuerer Zeit errichteten die berühmten Baumeister Anafis in Athen, unterhalb der Akropolis, das malerische Viertel Anafiotika, indem sie die Architektur ihrer Insel dorthin übertrugen. Zur gleichen Zeit machte die Abgeschiedenheit Anafis die Insel zu einem Ort der politischen Verbannung, während sich ihre Wirtschaft heute auf kleine Landwirtschaft, Viehzucht und einen sanften, alternativen Tourismus stützt, der ihre Ruhe sucht.