La mitologia racconta che il nome dell'isola fù data dal suo primo abitante Kimolos. I Veneziani chiamavano l'isola “Argentiera” forse dal color argento delle sue rocce. Nel medioevo si chiamava “Echinousa” cioè isola delle echidne (vipere).
La città antica, prima di offondare, si trovava all'ovest dell'isola dove oggi c'è la località “Ellinika”. Nel fondo del mare di Agios Andreas, la piccola isoletta di fronte da Ellinika, ci sono i residui di questa antica città (rovine di case antiche ed alcune tombe). Gli abitanti continuassero ad abitare là fino ai tempi Bizantini, fatto che viene dimostrato dai reperti trovati (vasi romani e bizantini).
Kimolos subì, come tutte le altre isole Cycladi, le conseguenze dagli attachi pirati e quelle dell'occupazione dagli stranieri di diverse religioni. Nel periodo della Francocrazia, Marco Sanudo, unì Kimolos con il Ducato di Naxos (1207). Dopo, l'isola venne occupata dai Turchi e nel periodo della guerra Russa Turca (1770- 1774), dai Russi.
Dopo la liberazione dai Turchi (1928) Kimolos divenne parte dello stato Greco.