在史前时期，岛上的第一批定居者是从西顿迁徙来的腓尼基人，岛上有许多居民继承了他们的血统。到了古风时期，安迪帕罗斯岛被称为奥立亚罗斯岛，且它的历史与帕罗斯岛紧密相连。最早使用安迪帕罗斯岛这个名称始于十三世纪，但这个名字本身也相当古老——在古代神话中，安迪帕罗斯是遭遇杀害的埃古普托斯50位儿子其中之一；安迪帕罗斯和另一位兄弟是仅有的两位幸存者，其余皆被埃古普托斯的妻子克里忒米希亚，亦即达那俄斯的女儿所杀害。
从拜占庭时期直至十三世纪初，以及在1821年的希腊独立革命时期，岛上饱受来自阿尔及利亚、克里特岛、凯法利尼亚岛和其它地方的海盗袭击。1537年，安迪帕罗斯岛和基克拉泽斯岛其它岛屿同时落入奥斯曼帝国统治以及手段激进的海盗巴巴罗萨手中；在此期间，岛上被毫不留情地洗劫一空。安迪帕罗斯岛也是基克拉泽斯群岛中首批参加希腊独立战争岛屿，并于1832年正式纳入现代希腊国家版图中。
第二次世界大战期间，安迪帕罗斯岛在对抗德国战役中表现活跃，并且是盟军的秘密基地之一。