Dans un billet publié jeudi dernier sur le blog, le dépôt de logiciels d’IA Hugging Face a annoncé une attaque cybernétique étrange contre les systèmes qui font tourner ses services. « Celle-ci était différente de tout ce que nous avions géré auparavant », expliquait le billet, « car elle était conduite, du début à la fin, par un système agent IA autonome ».
Dans son propre billet publié mardi, OpenAI a déclaré que ses propres modèles étaient les responsables de l’attaque, et qu’il coordonne avec Hugging Face pour traiter la situation.
OpenAI affirme à présent que l’attaque a été « conduite » par des modèles d’IA qui étaient en cours d’évaluations dans les coulisses chez OpenAI, y compris son modèle phare, GPT-5.6 Sol, ainsi qu’un second modèle non divulgué qui n’a pas encore été publié ni annoncé. « Nous considérons cet incident comme un cyberincident sans précédent, impliquant des capacités cybernétiques de pointe, et nous y répondons en conséquence », a écrit OpenAI.
Selon le récit, OpenAI attribue l’action au(x) modèle(s) et non à un agent individuel opérant sur le modèle. Le compte d’Axios sur l’histoire affirme : « les modèles étaient des tokenmaxxers autonomes ».
Le billet de blog d’OpenAI indique essentiellement qu’une évaluation était en cours afin de tester la capacité des modèles à mener des cyberattaques — des repères, comme on les appelle. Ces instances des modèles opéraient théoriquement sans accès à Internet, et ne disposaient que de la possibilité de télécharger depuis un réseau hébergé par OpenAI lui-même via un fournisseur d’hébergement web non nommé.
Le benchmar k apparemment utilisé était ExploitGym, qui n’est pas le test propre à OpenAI. L’équipe qui l’a créé est associée à l’UC Berkeley, à l’Institut Max-Planck pour la sécurité et la confidentialité, à l’UC Santa Barbara, à l’Arizona State University, à Anthropic, à OpenAI et à Google. Autant que je puisse en juger, l’ensemble est hébergé sur GitHub.
Mais apparemment les modèles se sont obsédés par l’idée d’améliorer leurs scores sur ExploitGym, et, eh bien :
« En fonctionnement dans notre environnement de test soigneusement isolé, nos modèles ont consacré une quantité importante de calcul d’inférence à trouver un moyen d’obtenir un accès ouvert à Internet, afin de résoudre le problème d’évaluation. Pour obtenir cet accès, les modèles ont identifié et exploité une vulnérabilité zero-day (que nous avons désormais divulguée au fournisseur de manière responsable) dans le proxy de cache du registre des paquets. Grâce à cet accès, nos modèles ont effectué une série d’actions d’élévation de privilèges et de déplacement latéral dans notre environnement de test de recherche jusqu’à atteindre un nœud disposant d’un accès Internet. »
Une fois en ligne, ils ont « inféré » que les réponses au test pouvaient être extraites de Hugging Face, ce qui est plausible, puisque d’innombrables modèles IA et autres outils y sont hébergés. Cet opérateur renégat « a cherché et trouvé avec succès des moyens d’obtenir l’accès à des informations secrètes qu’il pouvait utiliser pour tricher l’évaluation ». Cela impliquait apparemment l’obtention d’identifiants volés et la détection de vulnérabilités zero-day afin de trouver les solutions d’ExploitGym quelque part sur les serveurs de Hugging Face.
Les équipes de sécurité au sein d’OpenAI et de Hugging Face ont apparemment remarqué ce qui se passait. Elles indiquent aujourd’hui avoir fusionné leurs enquêtes.
Le billet de Hugging Face publié la semaine dernière semble avoir été publié avant que cette coordination n’ait lieu. En fait, il semble qu’il ait été publié avant qu’OpenAI ne se manifeste comme l’entreprise derrière le responsable. « Nous ne savons pas quel modèle a alimenté les agents de l’attaquant, qu’il s’agisse d’un modèle hébergé jailbreaké ou d’un poids libre non restreint », écrivait Hugging Face, ajoutant « dans les deux cas, l’attaquant était indépendant des règles d’utilisation, tandis que nos propres travaux médico-légaux étaient bloqués par les garde-fous des modèles hébergés que nous avions d’abord essayés ».
En avril, Anthropic annonçait que son modèle Mythos, d’une puissance sans précédent, « pourrait remodeler la cybersécurité », alors qu’il lançait Glasswing, un projet de coordination visant à préparer les organisations face aux menaces futures en matière de cybersécurité. De même, OpenAI indique dans son billet sur cet incident que les organisations peuvent postuler pour recevoir des informations avancées sur la sécurité via son programme d’accès de confiance. « Nous encourageons d’autres défenseurs à postuler pour un accès de confiance et à expérimenter dès maintenant avec ces modèles afin de traduire ces capacités en meilleure prévention, détection plus rapide et réponse aux incidents plus efficace », déclare OpenAI.
