Koufonisia furono abitate dall'epoca preistorica. Gli scavi archeologici fatti al posto di Epano Miloi portarono sulla luce importanti reperti di tombe dell'antica civiltà delle Cycladi. Il più importante fù un vaso a forma di padella che porta una stella sopra. Oggi, il vaso viene esposto nel Museo di Naxos.
Altri scavi archeologici al sud della parte est dell'isola scoprirono reperti dell'età Ellenistica e di quella Romana. Keros, l'isola vicina stette uno dei centri più importanti della civiltà delle Cycladi (3000-2000 a. C.).
Nel corso dei secoli sucessivi, Koufonisia furono sotto la dominazioni di diversi popoli come le altre isole delle Cycladi e sofrirono di numerosi assalti di alcuni pirati. Koufonissia passarono diverse volte dall'occupazione Turca all'occupazione dei Latini nobili. Gli abitanti delle isole, altre volte per necessità altre per scelta, fecero alleanze con i pirati di Mani o altri pirati che usarono lo stretto tra Ano Koufonissi e Kato Koufonisi come rifugio sicuro.
Il diciassettesimo secolo, nel periodo dei grandi scontri tra le due forze navali, quella Veneziana e quella Turca, gli abitanti di Koufonissia soffrirono di fame. Mangiarono qualsiasi pianta trovata sull'isola anche i“lupini” destinati per l'allevamento del bestiame. Una piccola poesia dell'epoca dimostra la situazione difficile : “ Resisti povero lupino perche le altre piante non ci sono e non ci saranno”.