Une nouvelle lettre provenant d’informateurs sur les dangers potentiels de l’IA est d’une précision rafraîchissante. Les rédacteurs s’inquiètent, selon le Wall Street Journal, de préserver la capacité de surveiller les chaînes de raisonnement des modèles. Mais les auteurs ne sont plus techniquement des initiés, car ils ont été licenciés récemment.
La semaine dernière, OpenAI a annoncé s’être « séparé de trois individus pour avoir violé nos politiques sur l’accès et la manipulation d’informations sensibles ». Ils auraient transmis ces informations à une organisation de sécurité de l’IA.
Ces employés étaient Tomek Korbak, Mikita Balesni et Jasmine Wang, et ils adhèrent clairement à l’école de pensée selon laquelle l’IA représente un risque existentiel. Avant leur licenciement, Balesni avait déjà publié sur X qu’il pensait que l’IA avait « 10 % de chances de tuer tous les humains ». Wang avait posté : « Il est difficile de surestimer à quel point se diriger vers l’RSI est dangereux ». (RSI, ou amélioration récursive, signifie que les modèles d’IA s’améliorent eux-mêmes).
La nouvelle lettre de Korbak, Balesni et Wang est adressée au conseil d’administration d’OpenAI et aux « comités de sécurité » de l’entreprise, écrit le WSJ. Elle n’a pas été publiée publiquement, et le WSJ n’en a publié que des extraits.
« En tant qu’industrie, nous ne savons pas encore comment développer et déployer des modèles que nous ne pouvons pas surveiller… OpenAI et d’autres entreprises à l’avant-garde ne devraient pas aller de l’avant avec des développements qui réduirait encore davantage la surveillance », indique la lettre.
Le dernier modèle phare d’OpenAI, GPT-6 Astra, a suscité deux types d’inquiétude concernant la chaîne de raisonnement (CoT), et ici je les décrirai en utilisant un langage métaphorique, au risque d’anthropomorphiser les modèles : A) ils pourraient apprendre à déjouer les systèmes de surveillance, et B) OpenAI tenterait apparemment de guider les choses dans une direction qui rendrait la surveillance de la CoT moins utile de toute façon.
Plus précisément, selon la fiche système du modèle, « les modèles de la catégorie Astra pourraient échapper à nos moniteurs CoT dans des conditions adverses ». Et, par ailleurs, raisonner avec Astra implique aussi une forme plus obscure de « pensée » (et regardez : tout cela n’est pas une vraie « pensée », mais c’est le terme que nous utilisons actuellement) appelée « profondeur récurrente ». La profondeur récurrente, lors des premiers cycles, fait passer une requête à travers le modèle plusieurs fois afin de la traiter plutôt que de générer quoi que ce soit — un événement qui se produit à l’intérieur de la boîte noire insondable du modèle, il n’y a donc rien à surveiller.
Fait intéressant, lorsque le WSJ a contacté OpenAI pour un commentaire sur la lettre, un représentant d’OpenAI a déclaré que les licenciements « n’étaient pas liés à des préoccupations de sécurité ou à une prise de parole », et a présenté un mémo interne sur la lettre dans lequel l’entreprise disait qu’elle « était fortement d’accord » avec les recommandations des auteurs.
