Anthropic a discrètement annoncé la semaine dernière que sa technologie avait franchi le « seuil » au-delà duquel certaines précautions liées à l’amélioration récursive de soi doivent être prises, le point théorique où une IA peut s’améliorer elle-même.
Cela signifie-t-il que la singularité est survenue de façon brutale dans un bureau d’Anthropic ? Probablement pas. Et je dois dire que, si vous cherchez à comprendre ce que cela implique, il vous faudra traverser des analyses dignes d’un travail universitaire sur Anthropic. Je vous prie d’excuser le niveau de détail qui va suivre.
Dans la version du 2 novembre du formulaire S-1 d’Anthropic déposé auprès de la SEC, l’entreprise indiquait qu’elle « pourrait imminemment satisfaire » les critères énoncés par sa politique de Mise à l’échelle Responsable pour quelque chose nommé « progrès fortement accéléré attribuable à l’IA ». Une autre section précise que l’une des fonctions de sa Politique de Mise à l’échelle Responsable est d’énoncer les « plans de surveillance et d’atténuation des risques à mesure que nous approchons de ce qui a été appelé l’« amélioration récursive de soi ».
Dans la version du 10 novembre du même document, l’entreprise a retiré l’expression « progrès fortement accéléré attribuable à l’IA », mais semble indiquer que la partie pertinente de sa Politique de Mise à l’échelle Responsable a été mise en vigueur. Les mots exacts dans le document (gras ajouté par Gizmodo) sont :
« […] notre utilisation des systèmes d’IA a déjà accéléré notre recherche et notre développement, et nos estimations internes indiquent que nous pourrions observer une augmentation supplémentaire du rythme des capacités de l’IA. Comme le seuil de capacité en matière d’IA, selon notre Politique de Mise à l’échelle Responsable, s’applique lorsque nous « observons ou attendons » un degré spécifique de progrès accéléré, nous avons déterminé que nous avons atteint ce seuil en nous basant sur ce que nous attendons des modèles futurs et sur notre taux global de progrès, plutôt que sur ce que nous avons observé des modèles actuels.»
Le lecteur peut en déduire que la section pertinente de la Politique de Mise à l’échelle Responsable est celle qui traite du « progrès fortement accéléré attribuable à l’IA ». En effet, l’emplacement du langage « observe ou attend » que mentionne le nouveau S-1 dans le document de politique provient d’une section sur le « progrès fortement accéléré », prévoyant un doublement du taux d’amélioration par rapport au rythme de référence.
Quoi qu’il en soit, les mesures d’atténuation sont jugées nécessaires une fois ce seuil franchi, selon le document de la Politique de Mise à l’échelle Responsable. Si la technologie d’Anthropic est réellement à l’endroit où elle affirme l’être, l’entreprise doit désormais explorer « des moyens d’atteindre des niveaux de sécurité sans précédent », atteindre un état de connaissance totale de ce que font ses modèles, appelé « eyes on everything », et apprendre à se tester elle-même de façon à ce que les primes liées aux bugs deviennent superflues.
L’introduction en bourse d’Anthropic est si proche qu’elle a désormais publié les documents pertinents sur son site web. La lettre des fondateurs contenue dans ce lot de documents comprend une section relative à l’auto-amélioration : « Construire une IA en sécurité peut nécessiter qu’Anthropic (et idéalement l’ensemble de l’industrie) module le rythme extrêmement rapide auquel les capacités de l’IA se renforcent, surtout lorsque cela est porté par des systèmes d’IA qui se construisent eux-mêmes », précise la lettre.
Anthropic indique que les actions de la société devraient commencer à être cotées publiquement jeudi.