Le nom même de l'île est né du mythe : lorsque les Argonautes, revenant de Colchide, furent menacés par une terrible tempête dans la nuit, Apollon lança sa flèche et fit « apparaître » du sein de la mer une île où trouver refuge — Anafi. En signe de gratitude, ils fondèrent un sanctuaire dédié à Apollon Aiglitis, dont le culte fut maintenu vivant par l'île pendant des siècles.
Dans l'Antiquité, Anafi était une petite mais organisée cité dorienne, avec une acropole sur le site de Kasteli et l'important sanctuaire d'Apollon Aiglitis au pied du Kalamos. À l'époque hellénistique, elle passa un temps sous l'influence des Ptolémées d'Égypte, tandis que les vestiges de murailles, de sarcophages et de temples témoignent d'une vie continue à l'époque romaine et paléochrétienne.
Après la période byzantine, l'île fut intégrée au Duché de l'Archipel fondé par Marco Sanudo au XIIIe siècle, et passa entre les mains de familles vénitiennes ; de cette époque subsistent les ruines du château au-dessus de la Chora. En 1537, Anafi fut soumise, comme le reste des Cyclades, à l'Empire ottoman, tout en conservant son caractère isolé et rural.
L'île fut rattachée à l'État grec après la Révolution de 1821. Plus récemment, les célèbres bâtisseurs d'Anafi ont construit à Athènes, sous l'Acropole, le pittoresque quartier des Anafiotika, transposant l'architecture de leur île. À la même époque, l'isolement d'Anafi en fit un lieu d'exil politique, tandis qu'aujourd'hui son économie repose sur la petite agriculture, l'élevage et un tourisme doux et alternatif en quête de sa sérénité.