Die Mythologie überliefert, dass der Name der Insel von dem ersten Siedler, Kimolos, herkommt. Die Venezianer nannten die Insel „Artzentiera“, möglicherweise wegen der silberfärbigen Gesteine. Im Mittelalter, trug die Insel den Name „Echinoussa“, also die Insel der Kreuzotter.
Die antike Stadt, bevor sie gesunken war, lag im Westen der Insel, im heutigen Ort „Ellinika“. Was von der Stadt übriggeblieben ist, befindet sich auf der Insel Agios Andreas, gegenüber „Ellinika“. Auf dem Meeresgrund wurden Ruinen der Häuser und Gräber von der antiken Stadt gefunden. Die Bewohner lebten hier bis zur byzantinischen Zeit, wie die gefundenen römischen und byzantinischen Vasen gezeigt haben.
Kimolos, wie die anderen Kykladeninseln, litt unter den Piratenangriffen und die Besetzung andersgläubiger Eroberer, es gab aber auch Glänzezeiten. Während der fränkischen Besetzung, vereinigte Markos Sanoudos (Herzog von Naxos) Kimolos mit seinem Herzogtum (1207). Danach wurde die Insel von den Türken besetzt und während des Russisch –Türkischen Krieges von den Russen (1770-1774).
Nach der Befreiung von den Osmanen (1828) wurde Kimolos Teil des neuerstandenen griechischen Staats.