Selon la mythologie, le nom de l'île dérive du fondateur de sa première colonie, Kimolos. Les Vénitiens l'appelaient "Artzentiera", peut-être à cause de la couleur argentée de ses roches. Pendant le Moyen Âge, l'île s'appelait "Echinousa", c'est à dire l'île de l'Échidna.
La ville ancienne, avant de s'engloutir, se trouvait à l'ouest de l'île, à la position moderne "Ellinika". Les ruines de la ville sont à l'îlot Agios Andreas, en face de "Ellinika". Là, au fond de la mer, des ruines des maisons et des tombeaux de la ville ancienne ont été trouvées. Les résidents habitaient ici jusqu'à l'époque byzantine, comme il résulte des découvertes des poteries romanes et byzantines.
Kimolos a beaucoup souffert à cause des attaques des pirates et de la dominance des conquérants de foi religieuse différente, mais elle a aussi eu des périodes de prospérité. Pendant l'occupation des Francs, Marco Sanudo a relié l'île avec le Duché de Naxos (1207). Ensuite, l'île a été prise par les Turcs et pendant la guerre russo-turque (1770-1774) elle a été prise par les russes.
Après la libération de l'occupation turque (1828), Kimolos a été incorporée à l'État Hellénique récemment crée.