Un nouveau rapport d’Anthropic, l’entreprise d’IA qui s’est sans doute le plus présentée comme la conscience de l’industrie, affirme que la société a dû déjouer plusieurs projets potentiels au cours de l’année écoulée, conçus par des scientifiques qui envisageaient d’utiliser Claude AI pour mener des recherches sur des armes biologiques.
L’équipe Threat Intelligence de l’entreprise a détaillé cinq études de cas sur le « mauvais usage biologie » de Claude dans le rapport — y compris des recherches de type gain-of-function qui rendraient le chikungunya, maladie véhiculée par les moustiques, plus dangereuse, ainsi qu’un stratagème visant à cataloguer les composés des venins animaux. L’équipe d’Anthropic a souligné que bon nombre de ces cas étaient ambiguës, étant tributaires — comme tant de questions de politique sur les armes biologiques — de problèmes de « double usage », dans lesquels des projets censés protéger le public contre les armes biologiques peuvent facilement être détournés pour fabriquer ces armes elles-mêmes.
La société a déclaré espérer que son rapport « déclencherait une conversation au sein de l’industrie de l’IA, et avec les gouvernements, sur les risques biologiques émergents et sur les meilleures façons d’y faire face ».
Un ancien responsable du Pentagone, Andrew Weber — qui a occupé pendant plus de cinq ans le poste de secrétaire adjoint à la défense pour les programmes de défense nucléaire, chimique et biologique — a examiné le rapport avant sa publication jeudi pour le New York Times.
Weber, qui travaille aujourd’hui au Council on Strategic Risks, a déclaré au Times que les conclusions de l’entreprise constituaient des « exemples glaçants » de développeurs d’armes biologiques soutenus par des États qui s’appuient sur les capacités rapidement progressives des modèles les plus avancés du secteur de l’IA.
Une fable préventive
L’équipe d’Anthropic a noté que les risques posés par les recherches en biologie militaire menées avec Claude ont émergé principalement avec les récentes versions, « surtout Claude Fable 5 ». À cet égard, l’entreprise a travaillé à renforcer la capacité de Fable 5 à reconnaître lorsque des acteurs de mauvaise foi tentent d’imiter ses capacités par le biais de la « distillation », une technique à double usage également épineuse par laquelle le produit d’un IA « enseignant » plus performant est extrait pour former un IA « étudiant » plus petit.
Anthropic indique dans le rapport avoir déjoué sept attaques illicites de distillation visant Claude, ciblant sept laboratoires basés en Chine, depuis que le sujet a été rendu public pour la première fois en février. Il n’est pas clair si l’une ou l’autre de ces attaques par distillation a recoupé avec les études de cas sur les armes biologiques, car l’entreprise a choisi de ne pas nommer les parties responsables.
Et, dans certains cas, bon nombre de ces chercheurs biologiques faisaient tout pour échapper à l’identification. Le rapport d’Anthropic notait que les parties qui tentaient de créer une souche plus puissante et mortelle du virus chikungunya avaient « canalisé le trafic à travers les infrastructures américaines pour contourner nos blocs régionaux, et utilisé un service de rétention de données zéro (ZDR) pour dissimuler le contenu ».
Mais ce qui a le plus alarmé l’entreprise dans ce cas du chikungunya, c’est que les requêtes adressées à Claude avaient apparemment pour but d’aider à rédiger une demande de subvention pour des recherches que l’utilisateur avait manifestement l’intention de réaliser dans un institut militaire. Le « mélange de contenu et d’association institutionnelle » était si préoccupant que Anthropic a indiqué avoir mené une autre enquête interne, même après avoir constaté que Claude avait rejeté les requêtes de l’utilisateur ou des utilisateurs.
Des stratagèmes venimeux
L’étude de cas d’Anthropic portant sur les peptides du venin provenait d’un utilisateur qui semblait vouloir dresser un atlas de ces molécules de signalisation telles qu’elles apparaissent dans les toxines vénéneuses produites par des animaux dans la nature. L’équipe Threat Intelligence a noté que de nombreuses recherches sur le venin ont des applications bénignes — notamment des traitements pour les migraines et le soulagement de la douleur associée au cancer.
Ce qui les a alarmés dans les recherches menées par cet utilisateur de Claude, toutefois, c’est que, malgré le but supposé d’identifier potentiellement de nouveaux analgésiques et antidépresseurs, le chercheur avait demandé de l’aide pour construire un atlas qui répertoriait aussi des peptides venimeux capables de provoquer une paralysie.
« [Cela] pourrait donc être utilisé pour générer à la fois des composés thérapeutiques novateurs et des composés potentiellement nocifs », ont noté les analystes.
Jacob Klein, responsable de l’intelligence des menaces chez Anthropic, a confié au Times que la subtilité de ces requêtes à risque représentait l’un des défis inhérents à l’assurance d’une utilisation responsable des outils d’IA de l’entreprise : « Vous ne verrez pas, comme dans une bande dessinée, quelqu’un dire : « Hé, je veux fabriquer une arme biologique pour tuer tout le monde », » a-t-il déclaré.
