据神话所述，本岛的名字来自第一位居民基莫洛斯。到了威尼斯时期，岛屿被称为阿根提拉，该名可能来自岛上银色色调的土壤；而在中世纪期间，它又被称为艾奇努萨（Echinousa），意指针鼹鼠（echidnae）的小岛。
古城遗址位于当今岛上西部的赫拉尼卡之处，不过已经沉没消失在大海中。在圣安德烈亚斯岛的近处海底，距赫拉尼卡海岸线不远处，仍可看见房屋和坟墓的遗迹。现场曾发现罗马与拜占庭时期的器皿，这也证明了古城在拜占庭占领时期曾有人居住。
与基克拉泽斯其它岛屿的命运相同，基莫洛斯岛曾被海盗劫掠一空，岛上统治者也随着时间不断更迭。然而岛上也曾经有过蓬勃发展时期。1207年，威尼斯统治者马可沙努多将本岛纳入纳索斯公国旗下；后来遭到土耳其人统治，且经过俄土战争（1770年至1774年）之后，它落入了俄罗斯手中。
基莫洛斯岛在1828年从奥斯曼帝国独立，并加入了现代希腊的行列。