Η Ανάφη σύμφωνα με την ελληνική μυθολογία αναδύθηκε από το πέλαγος, με εντολή του θεού Απόλλωνα για να προσφέρει καταφύγιο στον Ιάσωνα και τους Αργοναύτες, οι οποίοι κινδύνευαν από μια μεγάλη καταιγίδα.
Τα αρχαιολογικά ευρήματα που έχουν βρεθεί στο νησί μαρτυρούν ότι η Ανάφη κατοικούνταν από τα προϊστορικά χρόνια.
Στο λόφο του καλάμου και κοντά στο μοναστήρι της Παναγίας της Καλαμιώτισσας υπάρχουν τα ερείπια της αρχαίας πόλης και του ναού του Απόλλωνα.
Τον 5ο αιώνα π.Χ. η Ανάφη ήταν σύμμαχος της Αθήνας.
Το 1207 το νησί καταλαμβάνεται από τους Ενετούς. Αποτέλεσε τμήμα του Δουκάτου της Νάξου και ήταν υπό την κυριαρχία του Μάρκου Σανούδου. Τότε κτίστηκε και το κάστρο της Χώρας, τα ερείπια του οποίου σώζονται ως τις μέρες μας.
Το νησί βρέθηκε πολλές φορές στο στόχαστρο των πειρατών και γνώρισε πολλές καταστροφές και λεηλασίες.
Το 1537 πέρασε στην κυριαρχία των Τούρκων. Συμμετείχε ενεργά στην επανάσταση του 1821 και ενσωματώθηκε στο Ελληνικό κράτος το 1832.
Στα χρόνια της βασιλείας του Όθωνα, πολλοί κάτοικοι εγκατέλειψαν το νησί . Οι Αναφιώτες ήταν οι καλύτεροι τεχνίτες της χώρας. Ο Όθωνας τους έφερε στην πρωτεύουσα για να φτιάξουν το παλάτι του. Εγκαταστάθηκαν στην Πλάκα και δημιούργησαν κάτω από την Ακρόπολη τη δική τους γειτονιά, τα Αναφιώτικα, που είναι μια μικρογραφία του νησιού τους και αποτελεί ένα στολίδι της Αθήνας.
Το νησί σήμερα διατηρεί άθικτη τη φυσική του ομορφιά και αποτελεί ένα δημοφιλή προορισμό για ήσυχες διακοπές.