Kimolos está habitada desde tiempos prehistóricos y dio su nombre a la kimolía —la roca blanca y absorbente (tierra de Kimolos) que se extraía aquí desde la antigüedad y se exportaba por todo el Mediterráneo, utilizada en la limpieza, el teñido y la medicina. La isla fue una de las primeras estaciones de la Civilización Cicládica en el extremo suroccidental del archipiélago.
Durante la antigüedad, la ciudad de Kimolos se encontraba en la actual Ellinika, en la costa occidental, donde hoy se distinguen las ruinas sumergidas y las extensas necrópolis. La isla acuñaba su propia moneda y estaba estrechamente vinculada con la vecina Milos. Los cambios geológicos hundieron gradualmente gran parte de la ciudad antigua en el mar.
En la época medieval, Kimolos pasó, junto con el resto de las Cícladas, al Ducado del Egeo de los venecianos. Las incesantes incursiones piratas obligaron a los habitantes a fortificarse: primero en el Paliokastro del interior, y más tarde en el Castillo de la actual Chora, con las casas-muralla formando un anillo defensivo. Siguió el dominio otomano, con la isla manteniendo su vida naval y agrícola.
Tras la incorporación al estado griego en el siglo XIX, la economía de Kimolos se apoyó en la pesca, la ganadería y sobre todo en la extracción de minerales —kimolía, bentonita y perlita. En las últimas décadas, la isla ha mantenido conscientemente intacto su carácter tranquilo y auténtico, promoviendo el turismo suave como alternativa al desarrollo masivo de los grandes destinos.