Кимолос был заселён с доисторических времён и дал своё имя кимолиту — белой впитывающей породе (кимолосской земле), которую здесь добывали с древности и вывозили по всему Средиземноморью, используя в гигиене, красильном деле и медицине. Остров был одним из первых центров Кикладской цивилизации на юго-западной оконечности архипелага.
В древности город Кимолос находился на месте нынешней Эллиники, на западном побережье, там, где сегодня видны затопленные руины и обширные некрополи. Остров чеканил собственную монету и был тесно связан с соседним Милосом. Геологические изменения постепенно погрузили большую часть древнего города в море.
В средневековье Кимолос вместе с остальными Кикладами перешёл под власть венецианского Архипелагского герцогства. Непрекращающиеся пиратские набеги вынудили жителей укрепиться: сначала в Палеокастро во внутренней части острова, а позже в Кастро нынешней Хоры, где дома-стены образовали оборонительное кольцо. Затем последовало османское господство, при котором остров сохранял морской и сельский уклад жизни.
После присоединения к греческому государству в XIX веке экономика Кимолоса опиралась на рыболовство, животноводство и, прежде всего, добычу полезных ископаемых — кимолита, бентонита и перлита. В последние десятилетия остров сознательно сохранил свой тихий, подлинный характер, продвигая мягкий туризм как альтернативу массовому развитию крупных курортов.