El propio nombre de la isla nació del mito: cuando los Argonautas, de regreso de la Cólquide, se vieron amenazados por una terrible tempestad en plena noche, Apolo lanzó su flecha e hizo «emerger» del mar una isla para que encontraran refugio — Anafi. En señal de gratitud fundaron un santuario dedicado a Apolo Egletes, cuyo culto la isla mantuvo vivo durante siglos.
En la antigüedad, Anafi era una pequeña pero organizada ciudad dórica, con una acrópolis en el emplazamiento de Kasteli y el importante santuario de Apolo Egletes a los pies del Kalamos. Durante la época helenística estuvo por un tiempo bajo la influencia de los Ptolomeos de Egipto, mientras que los restos de murallas, sarcófagos y templos atestiguan una vida continua durante la época romana y paleocristiana.
Tras el periodo bizantino, la isla se integró en el Ducado del Egeo fundado por Marco Sanudo en el siglo XIII, y pasó a manos de familias venecianas; de aquella época se conservan las ruinas del castillo sobre la Chora. En 1537, Anafi fue sometida, como el resto de las Cícladas, al Imperio Otomano, conservando no obstante su carácter aislado y rural.
La isla se incorporó al Estado griego tras la Revolución de 1821. En época más reciente, los célebres constructores de Anafi levantaron en Atenas, a los pies de la Acrópolis, el pintoresco barrio de Anafiotika, trasladando la arquitectura de su isla natal. En la misma época, el aislamiento de Anafi la convirtió en lugar de exilio político, mientras que hoy su economía se sustenta en la pequeña agricultura, la ganadería y un turismo suave y alternativo que busca su paz.