Anthropic affirme être proche de quelque chose qui ressemble à une auto-amélioration récursive, ou RSI, selon la dernière révision de son dossier S-1/A, publiée lundi. Le nouvel avertissement dans la section « Facteurs de risque » du document constitue une mise à jour subtile mais notable repérée par TechCrunch.
La RSI, si elle est réelle, représenterait un point où un système informatique peut s’améliorer de façon autonome, puis la version améliorée serait capable de s’améliorer à son tour, et ainsi de suite. Une version du concept était centrale dans mes propres travaux modestes sur « la singularité » en 2016, mais le jargon a évolué avec le temps. La RSI telle qu’elle se rapporte à l’IA contemporaine demeure un concept quelque peu flou, bien que certains détails aient été clarifiés au cours des dernières années dans des espaces rationalistes et altruistes efficaces affiliés en ligne comme LessWrong. Il semble avoir évolué à partir d’un terme antérieur, « seed AI », inventé par le parrain du catastrophisme IA, Eliezer Yudkowsky.
Ainsi, Anthropic révèle à des investisseurs prudentiaux — ou peut-être annonce-t-il à un monde avide d’accueillir son dieu mécanique — que la RSI pourrait arriver « imminemment ». La version du 26 octobre du dossier d’Anthropic contient une section sur le taux d’« accélération pilotée par l’IA », mais l’entreprise a ajouté un paragraphe énonçant ce qui suit :
« […] nos estimations internes et nos attentes concernant les modèles futurs, plutôt que nos modèles actuels, indiquent que nous pourrions imminemment atteindre la définition de notre Politique de Mise à l’Échelle Responsable selon laquelle le progrès serait ‘considérablement accéléré attribuable à l’IA’. »
Et d’après ma lecture de la Politique de Mise à l’Échelle Responsable, Anthropic affirme que si progrès considérablement accéléré attribuable à l’IA venait à émerger, l’entreprise s’imposerait à elle-même une norme assez étonnante pour prévenir les catastrophes liées à l’IA.
Anthropic affirme, par exemple, qu’il « explorera des moyens ambitieux etPossiblement non conventionnels pour atteindre des niveaux de sécurité sans précédent », et qu’il apportera aussi une forme d’omniscience totale sur ses activités internes, un état des choses qu’il appelle « les yeux sur tout ». La politique affirme également qu’Anthropic deviendrait si doué au red-teaming qu’il n’aurait plus besoin de se reposer sur les programmes de bug bounty.
Si tout cela se passe « imminemment », je suppose qu’Anthropic ferait mieux de s’attaquer rapidement à ces nouvelles et ambitieuses mesures d’atténuation.
