Название Фолегандроса мифология связывает с сыном критского царя Миноса — Фолегандром, который считается первым поселенцем острова; другая версия связывает название с финикийским словом, обозначающим скалистую, каменистую почву. Следы заселения восходят к доисторической эпохе, а суровый, укреплённый природой ландшафт с ранних пор определил судьбу острова.
В древности Фолегандрос был заселён дорийцами, а позже вошёл в сферу афинского влияния. Из-за своей изолированности и суровости римляне использовали его как место ссылки — практика, к которой вернулись и в более поздние времена. В пещере Хрисоспилья древние надписи свидетельствуют о культовой деятельности уже с классической эпохи.
В византийскую и средневековую эпоху остров страдал от пиратских набегов. После Четвёртого крестового похода, в 1207 году, он перешёл к венецианцам и вошёл в состав Герцогства Архипелага Марко Санудо; тогда же было укреплено поселение Кастро на краю обрыва, дома которого образовали сплошную стену для защиты.
В 1566 году Фолегандрос перешёл под власть Османской империи, продолжая страдать от пиратских набегов вплоть до XVIII века. Он вошёл в состав греческого государства после Революции 1821 года, а в XX веке снова использовался как место ссылки. Благодаря сдержанному, умеренному туризму последних десятилетий остров сохранил нетронутым свой подлинный, безмятежный характер.