Το ίδιο το όνομα του νησιού γεννήθηκε από τον μύθο: όταν οι Αργοναύτες, γυρίζοντας από την Κολχίδα, κινδύνευσαν από τρομερή τρικυμία μέσα στη νύχτα, ο Απόλλων έριξε το βέλος του και έκανε να «αναφανεί» μέσα από τη θάλασσα ένα νησί για να βρουν καταφύγιο — την Ανάφη. Σε ένδειξη ευγνωμοσύνης ίδρυσαν ιερό στον Απόλλωνα Αιγλήτη, τη λατρεία του οποίου κράτησε ζωντανή το νησί για αιώνες.
Στην αρχαιότητα η Ανάφη ήταν μικρή αλλά οργανωμένη δωρική πόλη, με ακρόπολη στη θέση Κάστελι και το σπουδαίο ιερό του Απόλλωνα Αιγλήτη στους πρόποδες του Κάλαμου. Κατά τους ελληνιστικούς χρόνους πέρασε για διάστημα υπό την επιρροή των Πτολεμαίων της Αιγύπτου, ενώ τα λείψανα τειχών, σαρκοφάγων και ναών μαρτυρούν μια συνεχή ζωή στα ρωμαϊκά και παλαιοχριστιανικά χρόνια.
Μετά τη βυζαντινή περίοδο, το νησί εντάχθηκε στο Δουκάτο του Αιγαίου που ίδρυσε ο Μάρκος Σανούδος τον 13ο αιώνα, και πέρασε στα χέρια βενετσιάνικων οικογενειών· από εκείνη την εποχή σώζονται τα ερείπια του κάστρου πάνω από τη Χώρα. Το 1537 η Ανάφη υποτάχθηκε, όπως και οι υπόλοιπες Κυκλάδες, στην Οθωμανική Αυτοκρατορία, διατηρώντας ωστόσο τον απομονωμένο, αγροτικό της χαρακτήρα.
Το νησί ενσωματώθηκε στο ελληνικό κράτος μετά την Επανάσταση του 1821. Στα νεότερα χρόνια, οι φημισμένοι Αναφιώτες χτίστες έφτιαξαν στην Αθήνα, κάτω από την Ακρόπολη, τη γραφική συνοικία Αναφιώτικα, μεταφέροντας την αρχιτεκτονική του νησιού τους. Την ίδια εποχή η απομόνωση της Ανάφης την έκανε τόπος πολιτικής εξορίας, ενώ σήμερα η οικονομία της στηρίζεται στη μικρή γεωργία, την κτηνοτροφία και τον ήπιο, εναλλακτικό τουρισμό που αναζητά τη γαλήνη της.