Lo stesso nome dell'isola nacque dal mito: quando gli Argonauti, tornando dalla Colchide, furono minacciati da una terribile tempesta nel cuore della notte, Apollo scagliò la sua freccia e fece «apparire» dal mare un'isola affinché trovassero rifugio — Anafi. In segno di gratitudine fondarono un santuario dedicato ad Apollo Egletes, il cui culto l'isola mantenne vivo per secoli.
Nell'antichità Anafi era una piccola ma organizzata città dorica, con un'acropoli nel sito di Kasteli e l'importante santuario di Apollo Egletes ai piedi del Kalamos. Durante l'epoca ellenistica passò per un periodo sotto l'influenza dei Tolomei d'Egitto, mentre i resti di mura, sarcofagi e templi testimoniano una vita continua in epoca romana e paleocristiana.
Dopo il periodo bizantino, l'isola entrò a far parte del Ducato dell'Egeo fondato da Marco Sanudo nel XIII secolo, e passò nelle mani di famiglie veneziane; di quell'epoca si conservano le rovine del castello sopra Chora. Nel 1537 Anafi si sottomise, come il resto delle Cicladi, all'Impero Ottomano, mantenendo tuttavia il suo carattere isolato e rurale.
L'isola fu incorporata nello stato greco dopo la Rivoluzione del 1821. In tempi più recenti, i celebri costruttori di Anafi crearono ad Atene, sotto l'Acropoli, il pittoresco quartiere di Anafiotika, trasportando l'architettura della loro isola. Nello stesso periodo l'isolamento di Anafi ne fece un luogo di esilio politico, mentre oggi la sua economia si basa sulla piccola agricoltura, l'allevamento e un turismo dolce e alternativo che ne cerca la tranquillità.