Según la mitología el nombre de la isla se la dió su primer habitante, Kimolos. Los venecianos la llamaban “Argentiera”, quizás por el color de plata de sus rocas. En la Edad Media, la isla se llamaba “Echinousa” es decir la isla de las Equidnas.
La ciudad antigua, antes de hundirse, se encontraba en el sur de la isla en el actual lugar de “Hellenika”. Lo que quedó de la ciudad se encuentra en la pequeña isla Agios Andreas, al frente de “Hellenika”. En el fondo marino de la zona fueron halladas ruinas de las casas y de las tumbas de la ciudad antigua. Los habitantes siguieron viviendo aquí hasta el periodo bizantino, como muestran los hallazgos de las vasijas de los tiempos romanos y bizantinos.
Kimolos, sufrió igual que las demás islas cícladas, muchos ataques de los piratas y conoció el dominio de varios conquistadores de otra creencia, pero también conoció días de gloria. Durante el dominio franco, Marco Sanudo, unió Kimolos con el Dukato de Naxos (1207). Posteriormente la isla fue conquistada por los turcos y durante la guerra turco-rusa (1770-1774), por los rusos.
Tras la liberación del dominio turco (1828) Kimolos fue incluida al nuevo estado griego.