Según la mitología, Anafi debe su nombre al hecho de que surgió (“anafanike” en griego) de las aguas de Egeo, después del deseo del dios Apolo, que quizo ofrecer un refugio a los afectados por la tempestad Argonautas. Ellos construyeron, en su honor, el templo de Apolo Astealta cerca del monasterio de Zoodochou Pigis. Cada año rendían honores al dios con una fiesta que se llamaba “Yakinthia”.
Según otras fuentes, la isla era la patria de Eolo, el dios del viento, quien entregó los vientos a Ulices. En Anafi fueron establecidos los fenicios y posteriormente los dorios, quienes habitaron la parte central de la isla y fundaron la ciudad de Anafi.
Durante el siglo V a.C. Anafi fue miembro de la Liga Ateniense. En la Edad Media la isla pertenecía al Doukato de Naxos y fue gobernada por los hegemonas venecianos quienes no pudieron enfrentar a los ataques de los piratas y en consecuencia muchos habitantes fueron obligados a recurrir a Creta. En 1537 fue saqueada por Barbarosa, fue conquistada por los turcos, participó en la Revolución del 1821 y fue incorporada al Estado griego en 1832.
En los tiempos del reinado de Otto, debido al hecho de que los habitantes de Anafi eran los mejores constructores del país, varios habitantes fueron trasladados a Atenas por orden del rey para construir el palacio. Fueron establecidos al pie de la Acrópolis y crearon su propia civilización, la “Anafiotika”, que era una micrografía de su isla y en la actualidad constituye un adorno arquitectónico de Atenas.