Kimolos est habitée depuis les temps préhistoriques et a donné son nom à la kimolia — la roche blanche et absorbante (terre de Kimolos) extraite ici depuis l'Antiquité et exportée dans toute la Méditerranée, utilisée dans le nettoyage, la teinture et la médecine. L'île fut l'une des premières stations de la civilisation cycladique à l'extrémité sud-ouest de l'archipel.
Dans l'Antiquité, la cité de Kimolos se trouvait à l'emplacement actuel d'Ellinika, sur la côte occidentale, là où l'on distingue aujourd'hui les ruines englouties et les vastes nécropoles. L'île frappait sa propre monnaie et entretenait des liens étroits avec la Milos voisine. Les changements géologiques ont progressivement englouti une grande partie de la cité antique dans la mer.
Au Moyen Âge, Kimolos passa, avec le reste des Cyclades, sous le Duché de l'Archipel des Vénitiens. Les incessants raids de pirates contraignirent les habitants à se fortifier : d'abord au Paliokastro à l'intérieur des terres, puis plus tard au Kastro de l'actuelle Chora, avec les maisons-remparts formant un anneau défensif. Vint ensuite la domination ottomane, l'île conservant sa vie maritime et agricole.
Après son intégration à l'État grec au XIXe siècle, l'économie de Kimolos s'appuya sur la pêche, l'élevage et surtout l'extraction minière — kimolia, bentonite et perlite. Ces dernières décennies, l'île a délibérément préservé son caractère paisible et authentique, mettant en avant le tourisme doux comme alternative au développement de masse des grandes destinations.