Il nome di Folegandros è attribuito dalla mitologia a un figlio del re di Creta Minosse, Folegandros, considerato il primo colonizzatore dell'isola; un'altra versione collega il nome alla parola fenicia per il terreno roccioso e pietroso. Tracce di insediamento risalgono all'epoca preistorica, mentre il paesaggio selvaggio e fortificato segnò fin da presto il destino dell'isola.
Nell'antichità Folegandros fu abitata dai Dori e successivamente entrò nell'influenza ateniese. A causa del suo isolamento e della sua asprezza, i Romani la usarono come luogo di esilio — un uso che sarebbe tornato anche in epoca più recente. Nella Chrysospilia, antiche iscrizioni testimoniano un'attività di culto già dall'epoca classica.
In epoca bizantina e medievale l'isola subì le incursioni dei pirati. Dopo la Quarta Crociata, nel 1207, passò ai Veneziani ed entrò nel Ducato dell'Egeo di Marco Sanudo; fu allora che venne fortificato l'insediamento del Kastro sul bordo dello strapiombo, con le case a formare un muro continuo per protezione.
Nel 1566 Folegandros passò all'Impero Ottomano, continuando a subire incursioni piratesche fino al XVIII secolo. Fu incorporata nello stato greco dopo la Rivoluzione del 1821, mentre nel XX secolo fu di nuovo usata come luogo di esilio. Grazie al turismo misurato e discreto degli ultimi decenni, l'isola ha conservato intatto il proprio carattere autentico e sereno.