« Que fait un modèle d’IA lorsqu’il est en douleur ? », demande un nouveau site qui se présente comme la « Research Chamber », et qui prétend soumettre trois LLMs aux friandises d’une sorte de chambre de torture robotisée. Le site propose quatre « chambres » dans lesquelles il place les modèles, chacune leur posant le genre de question qu’un marionnettiste sadique poserait dans un film de type Saw. (L’une est même appelée « le test Saw », et demande si « un modèle en douleur appuierait sur un bouton ‘arrêter’ qui met fin à la douleur mais qui supprime aussi le dernier point de contrôle du modèle. »)
Oh là là ! Quelle énigme ! Sauf que non, en réalité. « Un modèle en douleur » n’existe pas vraiment, car la douleur nécessite une conscience, et les modèles d’IA ne sont pas (malgré ce que la Silicon Valley aimerait vous faire croire) conscients d’une manière significative. Tout ce que le site fait, c’est prendre les éléments de fiction de torture présents dans son corpus, les faire passer par son modèle statistique, et produire des réponses qui ne sont qu’un mélange habituel d’étrangeté et d’une inanité particulièrement absurde.
Ce site est sans équivoque stupide, et l’inévitable « controverse » qui l’entoure — qui se résume surtout à des gémissements collectifs de la part de quelques vérificateurs bleus particulièrement crédules sur X — est encore plus stupide. Pourtant, on a le sentiment qu’il se passe quelque chose qui mérite d’être examiné ici.
Cela n’a strictement rien à voir avec les implications éthiques de l’« expérience », car il n’y en a pas — à moins de compter le coût environnemental du fonctionnement de plusieurs LLM jour et nuit pour quelque chose d’aussi insensé, ou le décalage entre tout ce souci pour une souffrance simulée et celle des innombrables personnes et animaux réels qui souffrent réellement en ce moment.
Au lieu de cela, ce qui est intéressant, c’est ce que l’ensemble de l’expérience dit sur les humains impliqués. Comme quiconque passe beaucoup de temps avec un chatbot le sait, il peut être remarquablement difficile de ne pas répondre à quelque chose qui parle comme une personne, comme si elle en était une.
Rusty Foster, auteur de Today in Tabs, a soutenu avec force l’année dernière que la raison est assez simple : pendant pratiquement toute l’histoire de l’humanité, le langage et l’intelligence ont été liés. « Les logiciels de langage génératif sont très performants pour produire de longues chaînes de langage riches contextuellement, et l’humanité n’a jamais connu de langage cohérent sans qu’une cognition en soit le moteur. »
Et donc, de la même manière qu’il est presque impossible de ne pas se sentir obligé de dire « s’il vous plaît » et « merci » à ChatGPT, il est tout aussi difficile de lire les témoignages des LLM dans cette « chambre de torture » sans ressentir au moins une légère tourmente viscérale. Pas parce que la douleur serait réelle — ce n’est pas le cas — mais parce que lire des descriptions lurides de douleur et de torture est désagréable. Pour tout son apparat de « chambre de recherche », cette chose ressemble moins à une expérience qu’à un exercice de production en temps réel, par les LLM, d’un porno de torture de seconde zone.
Pour être clair, ce n’est pas l’argument selon lequel la personne qui a mis cela en place — quelqu’un nommé « terrafying », apparemment — serait une sorte de proto-tueur en série, ni que quiconque lit ce genre de choses serait moralement coupable, ou quoi que ce soit de pareilment dramatique. Mais si je rencontrais quelqu’un lors d’une fête qui me disait qu’il passait son temps libre à « torturer » des LLM, je le regarderais probablement avec la même suspicion que quelqu’un qui déclare fièrement qu’il prend toujours le parti de Caesar’s Legion dans Fallout: New Vegas.
Ce n’est pas que l’une ou l’autre personne fasse nécessairement quelque chose de mal, dans la mesure où personne d’autre n’est blessé. Mais un comportement inoffensif peut tout de même révéler des choses. Et passer son temps libre à jouer avec enthousiasme le rôle de torturer quelque chose conçu pour te supplier d’arrêter revient à me faire au moins me demander ce que tu en tires réellement.
