Secondo la mitologia, Anafi prende il suo nome dal fatto che venne emersa (anafiomai=emergere) dalle acque dell'Egeo per volontà di Apollo che volle proteggere dalla tempesta gli Argonauti. Loro costruirono il Tempio di Apollo per onorarlo. Questo tempio fù costruito dove oggi sta il monastero di Zoodochos Pigis. Ogni anno onoravano il deo con una festa che si chiamava “Yakintheia”.
Secondo altre fonti, l'isola fù la patria di Eolo, deo dei venti che offrì a Ulisse il sacco dei venti. Ad Anafi furono andati i Fenici e i Dori che abitarono la parte centrale dell'isola e fondarono la città di Anafi.
Nel 5° secolo a.C. Anafi divenne membro della allenza degli Ateniesi. Nel medioevo l'isola fece parte del Ducato di Naxos che i suoi governatori furono impotenti per proteggere gli abitanti dagli assalti dei pirati. Cosi molti di loro partirono a Creta. Il 1537 venne saccheggiata da Barbarossa, dopo stette sotto l'occupazione Turca e il 1821 partecipò alla rivoluzione e venne incorporata nello stato Greco il 1832.
Negli anni del regno di Ottone molti abitanti di Anafi partirono per Atene per costruire il palazzo reale dopo la richiesta dello re. Gli Anafioti furono costrutori di grande fama. In quel periodo costruirono l'insediamento “Anafiotika” (micrografia architettonica della loro isola) sulle falde della collina dove c'è l'acropoli di Atene. Oggi Anafiotika si considera una belezza architettonica.