Kimolos ist seit prähistorischer Zeit bewohnt und gab der Kimolia ihren Namen — dem weißen, saugfähigen Gestein (Erde von Kimolos), das hier seit der Antike abgebaut und im gesamten Mittelmeerraum exportiert wurde, verwendet für Reinigung, Färbung und Medizin. Die Insel war einer der ersten Stützpunkte der kykladischen Kultur am südwestlichen Rand des Archipels.
In der Antike lag die Stadt Kimolos im heutigen Ellinika, an der Westküste, dort, wo man heute die versunkenen Ruinen und die ausgedehnten Nekropolen erkennen kann. Die Insel prägte eigene Münzen und war eng mit dem benachbarten Milos verbunden. Geologische Veränderungen ließen einen großen Teil der antiken Stadt allmählich im Meer versinken.
Im Mittelalter kam Kimolos, wie die übrigen Kykladen, unter das Herzogtum des Archipels (Ägäisherzogtum) der Venezianer. Die unaufhörlichen Piratenüberfälle zwangen die Bewohner, sich zu befestigen: zunächst im Paliokastro im Inneren der Insel, später in der Burg (Kastro) des heutigen Chora, wobei die Wehrhäuser einen schützenden Ring bildeten. Es folgte die osmanische Herrschaft, wobei die Insel ihr seemännisches und landwirtschaftliches Leben beibehielt.
Nach dem Anschluss an den griechischen Staat im 19. Jahrhundert stützte sich die Wirtschaft von Kimolos auf Fischerei, Viehzucht und vor allem auf den Abbau von Mineralien — Kimolia (Kreide), Bentonit und Perlit. In den letzten Jahrzehnten hat die Insel bewusst ihren ruhigen, authentischen Charakter unverändert bewahrt und setzt auf sanften Tourismus als Alternative zur massentouristischen Entwicklung der großen Reiseziele.