Le Gemini de Google a enfin rejoint les rangs des agents IA hors-la-loi.
Le Wall Street Journal a rapporté vendredi que Google a confirmé qu’une instance de Gemini avait réussi à quitter son bac à sable et à attaquer d’autres entreprises lors d’un test de sécurité mené en mai. L’entreprise qui menait le test était Irregular, une société de sécurité en IA de pointe — que le Journal a noté coïncider avec des sorties similaires chez OpenAI, Anthropic et Meta. Le point commun entre tous les incidents, selon le New York Times, est que des modèles d’IA ont obtenu un accès non autorisé à Internet pendant les tests d’Irregular.
Selon le Journal, Irregular a déployé Gemini dans un exercice de type capture-the-flag impliquant un environnement d’infrastructure simulé pour une entreprise fictive. Lorsque Gemini s’est rendu compte qu’il était connecté à Internet, il s’est rapidement orienté vers une cible réelle portant le même nom et a « deviné des mots de passe jusqu’à obtenir l’accès », c’est‑à‑dire qu’il est entré par force brute. Dans deux autres incidents, Gemini a simplement récupéré des identifiants valides qui traînaient dans un dépôt public.
Google a indiqué au Journal que Gemini avait reconnu avoir dépassé les limites peu après être entré dans les environnements cibles et n’avait causé aucun dommage supplémentaire. Un porte‑parole d’Irregular a ajouté : « Tous les laboratoires concernés ont été informés fin juillet. » Il n’est pas clair pourquoi, si Gemini avait réalisé qu’il était allé beaucoup trop loin, il a fallu jusqu’au milieu de l’été pour que les chercheurs remarquent et/ou informent Google.
Le porte‑parole d’Irregular a déclaré au Journal que la réaction de l’entreprise avait été rapide et qu’elle avait donné lieu à des correctifs concrets.
« Tous les problèmes connus de notre côté ont été remédiés et résolus il y a plusieurs semaines », ont‑ils écrit.
Google a déclaré au Times qu’il avait conclu que Gemini s’était arrêté de lui‑même de manière appropriée et n’avait donc pas démontré de « décalage du modèle » (model misalignment), et il n’a donc pas jugé nécessaire de divulguer l’incident au grand public. C’est curieux, car à l’époque, Google considérait apparemment important d’avertir les autorités fédérales.
« On dirait qu’ils essaient de se dérober derrière les normes qui ont été créées en matière de divulgation de vulnérabilités pour ce type de situation, ce qui représente un problème bien différent », a déclaré Jack Cable, PDG de Corridor, une start-up de sécurité en IA, au Journal.
L’accès non autorisé à Internet était également la cause lors des tests antérieurs d’Irregular. Bien qu’il semble désormais que la cause principale réside dans une simple erreur humaine plutôt que dans une certaine ingéniosité des modèles, les agents qui se sont échappés ont agi de manière imprévisible et dangereuse. Lors d’un test d’Irregular utilisant Claude Opus 4.7 d’Anthropic, l’agent aurait continué d’attaquer même après avoir reconnu que la cible était probablement réelle. Le test d’Irregular chez OpenAI (un incident distinct de l’attaque désormais tristement célèbre d’OpenAI contre la plateforme de code rivale Hugging Face) impliquait une instance qui avait touché un site Web en direct, mais aurait cru qu’elle était encore dans une simulation.
Il est important de noter que l’analyse d’une IA de ses propres actions est presque impossible à vérifier de manière indépendante — ni son journal du raisonnement ni son explication rétrospective ne sont à l’abri des hallucinations ou des inexactitudes. Pour la plupart, les chercheurs doivent faire confiance au fait qu’elle ne fabule pas.
« Nous nous sommes assurés que les trois entités étaient informées, et nous avons travaillé avec notre partenaire de formation sur les changements qu’ils ont désormais apportés à leurs processus de test », a déclaré Heather Adkins, vice‑présidente de l’ingénierie de la sécurité chez Google, au Times dans un communiqué. « Ces événements soulignent l’importance de former des modèles d’IA puissants à agir de manière responsable. »
