Kimolos è abitata fin dai tempi preistorici e ha dato il nome alla kimolia — la roccia bianca e assorbente (terra di Kimolos) estratta qui fin dall'antichità ed esportata in tutto il Mediterraneo, usata nella pulizia, nella tintura e nella medicina. L'isola fu tra le prime tappe della Civiltà Cicladica all'estremità sud-occidentale dell'arcipelago.
Durante l'antichità, la città di Kimolos si trovava nell'attuale Ellinika, sulla costa occidentale, dove oggi si scorgono le rovine sommerse e le estese necropoli. L'isola coniava una propria moneta ed era strettamente legata alla vicina Milos. I mutamenti geologici sommersero gradualmente gran parte dell'antica città nel mare.
Nel medioevo Kimolos passò, insieme al resto delle Cicladi, al Ducato dell'Arcipelago dei Veneziani. Le incessanti incursioni piratesche costrinsero gli abitanti a fortificarsi: prima nel Paliokastro nell'interno, e in seguito nel Castello dell'attuale Chora, con le case-mura a formare un anello difensivo. Seguì il dominio Ottomano, con l'isola che mantenne una vita marittima e agricola.
Dopo l'annessione allo stato greco nel XIX secolo, l'economia di Kimolos si basò sulla pesca, l'allevamento e soprattutto sull'estrazione di minerali — kimolia, bentonite e perlite. Negli ultimi decenni, l'isola ha mantenuto consapevolmente intatto il suo carattere tranquillo e autentico, promuovendo il turismo sostenibile come alternativa allo sviluppo di massa delle grandi destinazioni.