Согласно мифологии остров обязан своим названием своему первому жителю Кимолосу. Венецианцы называли остров «Арджентьера», вероятно, из-за серебристого цвета местных камней. В Средние века остров назывался «Эхинуса», то есть остров ехидн.
Древний город до затопления был расположен в западной части острова, на месте нынешнего «Эллиника». Все, что осталось от этого города, сегодня находится на островке Агиос Андреас, напротив Эллиника, где на морском дне были обнаружены развалины домов и гробниц древнего поселения. Жители города не покидали его до византийского периода – об этом свидетельствуют археологические находки римской и византийской эпох.
Кимолос, как и все кикладские острова, пострадал от набегов пиратов и власти иноверцев, но знал он и славные дни. В период правления франков Марко Санудо присоединил остров к Герцогству Наксоса (Герцогству Эгейскому)(1207 г.). Впоследствии остров находился во власти османов, а в период Русско-турецкой войны (1770-1774) – под управлением России. После освобождения от османского ига (1828 г.) Кимолос вошел в состав новообразованного греческого государства.