Selon une déclaration publiée sur son site vendredi, Anthropic a été contraint de « désactiver brusquement » deux de ses modèles d’IA de frontière les plus prisés en réponse à une ordonnance gouvernementale américaine extrêmement restrictive. « Nous pensons qu’il s’agit d’un malentendu et nous travaillons à rétablir l’accès dès que possible », indique la déclaration.
L’action gouvernementale en question est une « directive de contrôle des exportations » indiquant que les ressortissants étrangers ne peuvent pas utiliser les modèles, à l’intérieur ou à l’extérieur des États‑Unis, et elle a été motivée par ce que Anthropic décrit comme une préoccupation de sécurité nationale non précisée.
Mais les préoccupations en matière de sécurité nationale, et d’autres craintes liées à la sécurité et à la sûreté, ont été au cœur du déploiement de ces modèles, ce qui rendait, on peut le dire, un événement comme celui-ci prévisible.
Plutôt que de rendre public son modèle Claude Mythos Preview au début du mois d’avril, Anthropic a transformé la création de ce modèle en une sorte de campagne de sensibilisation sur les dangers supposés des modèles d’IA de frontière.
Elle a publié une fiche système expliquant pourquoi le modèle ne serait pas rendu public, et détaillant des capacités inquiétantes telles que la tromperie et la capacité présumée de contourner le confinement d’un système limité. Il était aussi prétendument capable d’être utile dans le développement d’armes avancées. Par exemple, la fiche système le décrivait comme « capable d’une synthèse inter-domaines significative pertinente pour le développement d’armes biologiques catastrophiques ».
Parallèlement, l’entreprise a lancé le projet Glasswing, un programme dans lequel un groupe restreint de partenaires et d’organisations était autorisé à tester le modèle afin de découvrir quelles nouvelles horreurs il pourrait infliger au monde de la cybersécurité. « Nous avons formé le Projet Glasswing en raison des capacités que nous avons observées dans un nouveau modèle de frontière entraîné par Anthropic que nous pensons pouvoir remodeler la cybersécurité », peut-on lire dans le billet de blog d’Anthropic sur le Projet Glasswing.
Bientôt, malgré le caractère intrinsèquement nerd du sujet, Mythos Preview est devenue une histoire à sensation. Un article du New York Post cita le chercheur en informatique Roman Yampolskiy prophétisant que, compte tenu de ce que Mythos annonce, l’IA pourrait bientôt développer « des outils de piratage, des armes biologiques, des armes chimiques, [et] des armes nouvelles que nous ne pouvons même pas envisager ». L’expression « des armes que nous ne pouvons même pas envisager » est même apparue dans le titre.
Des responsables gouvernementaux britanniques et des dirigeants du secteur financier britannique se sont empressés d’élaborer un plan d’action à la lumière du danger perçu. Selon le New York Times, la politique « non-interventionniste » envers l’IA de l’administration Trump a changé après l’annonce de Mythos, et son existence même a contribué à l’élaboration d’un décret exécutif axé sur la sécurité de l’IA. Trump a signé l’un de ces décrets il y a environ une semaine.
Néanmoins, la semaine dernière, Anthropic a publié Claude Fable 5 et Mythos 5. L’entreprise décrit Fable 5 comme « un modèle de classe Mythos que nous avons rendu sûr pour un usage général », mais doté de capacités qui « dépassent celles de tout modèle que nous avons mis à disposition du grand public ». Mythos 5, quant à lui, a bénéficié d’une mise à disposition très limitée dans le cadre du Projet Glasswing.
Brian Merchant, sur Blood in the Machine, l’a décrit ainsi :
Après avoir déclenché un important cycle d’informations dans les médias technologiques avec son annonce d’avril selon laquelle il avait construit un modèle d’IA, Mythos, si puissant, si dangereux qu’il menaçait de bouleverser l’ordre civilisationnel tout entier — et qui retenait consciencieusement le produit du public afin de nous protéger — la startup d’IA numéro un du pays a finalement décidé de mettre Mythos sur le marché.
Quelques heures après que Merchant ait écrit ces mots, la directive de contrôle à l’exportation a été transmise à Anthropic, et Fable 5 et Mythos 5 ont été rendus inaccessibles en raison de préoccupations apparemment liées à la sécurité nationale. Il semble qu’on ait ordonné à Anthropic de révoquer l’accès uniquement pour les utilisateurs qui ne sont pas des ressortissants américains, mais il est compréhensible qu’Anthropic trouve impraticable de laisser quiconque y accéder partout dans le monde par crainte de violer l’ordre. Parmi bien d’autres questions, des ressortissants non américains travaillent chez Anthropic. Il est clairement plus simple de retirer complètement les modèles jusqu’à résolution de la situation.
Intéressant, la déclaration d’Anthropic au sujet de la directive de contrôle à l’exportation notait qu’Anthropic avait « travaillé avec le gouvernement américain », ainsi qu’avec le gouvernement britannique, et « plusieurs organisations privées tierces » dans le cadre d’un effort pour créer un ensemble de garde-fous satisfaisant pour les modèles. À leur sortie, les garde-fous ont été, dans de nombreux aspects, la caractéristique la plus marquante du récit médiatique autour de Fable 5. L’un des garde-fous les plus difficiles, conçu pour punir discrètement les utilisateurs qui abusaient du modèle, a même été jugé mal conçu, ce qui a poussé Anthropic à présenter des excuses.
Mais, selon la version d’Anthropic, le gouvernement a été pris de panique après avoir appris l’existence d’un jailbreak de Fable 5 qui contournait ces garde-fous essentiels :
« Notre compréhension est que le gouvernement estime être au courant d’une méthode de contournement, ou de jailbreaking, de Fable 5. Nous avons examiné une démonstration de cette technique spécifique utilisée pour identifier un petit nombre de vulnérabilités mineures préalablement connues. Ces vulnérabilités semblent toutes relativement simples, et nous avons constaté que d’autres modèles publiquement disponibles sont capables de les découvrir également sans nécessiter de contournement. »
Anthropic souligne, à juste titre, que lorsque le groupe a publié Fable 5, la section de son billet sur le blog concernant la sécurité du modèle indiquait clairement que certains jailbreaks restaient possibles. Il est « probablement impossible de prévenir complètement les jailbreaks universels, mais notre objectif est de rendre tout jailbreak restant suffisamment lent et coûteux pour que nous puissions les détecter et les prévenir avant qu’ils ne soient utilisés à grande échelle », écrivait Anthropic. En substance, comme rendre un modèle parfaitement résistant au jailbreak n’est pas encore possible, Anthropic cherche à rendre les jailbreaks soit coûteux à produire, soit trop « étroits » pour représenter une menace. Anthropic est également transparent sur le fait qu’il conserve les données des utilisateurs des modèles de type Mythos bien plus que d’habitude.
Pourtant, il est étrange de voir Anthropic désormais minimiser l’importance des dangers perçus de ses modèles, et écrire que ces vulnérabilités sont « mineures », « préalablement connues » et « relativement simples », tout en notant que « d’autres modèles publiquement disponibles sont aussi capables de les découvrir sans nécessiter de contournement ».
Encore une fois, lorsque Anthropic a d’abord rendu publique cette catégorie de modèles, il disait au monde qu’il avait créé quelque chose d’un pouvoir sans précédent avec le potentiel de faire du mal réel au monde. Deux mois plus tard, un modèle de catégorie Mythos était un produit destiné au grand public, disponible comme produit premium pour les utilisateurs des plans « Pro, Max, Team, et Enterprise basés sur des sièges » sans coût supplémentaire mais seulement pour une durée limitée. Le 23 juin, l’intention d’Anthropic était de « retirer Fable 5 de ces plans », et d’exiger un plan payant à l’utilisation à la place.
Anthropic soutient que des actions gouvernementales comme celle-ci pourraient, si elles devenaient la norme, « suspendre tous les déploiements de nouveaux modèles pour tous les fournisseurs de modèles de frontière ». Et peut-être que c’est vrai. Pour qu’un lancement de produit soit bloqué alors que son déploiement implique une pièce de technologie précurseur qui aurait mérité, selon certains, une réévaluation mondiale de la cybersécurité, une réaction excessive face à des lacunes dans les garde-fous de ce produit ne devrait probablement pas surprendre, même si une telle réaction est mauvaise pour les affaires.
