Il semble que la seule chose dont la Silicon Valley ait été capable de parler ces dernières années soit l’avenir glorieux de l’humanité grâce à l’intelligence artificielle. Une éducation personnalisée, un médecin-slash-thérapeute disponible 24 heures sur 24 et 7 jours sur 7, des remèdes pour toutes les maladies et l’éradication de la pauvreté — pratiquement tout ce que nous pourrions désirer sera accessible en quelques commandes. Mais une vibration bien nette a changé ces deux dernières semaines. Soudain, l’ambiance paraît moins une anticipation enthousiaste d’un nouvel âge d’or et davantage une crainte.
Plusieurs initiés de l’industrie de l’IA se sont exprimés depuis le Labor Day sur ce qu’ils considèrent comme une menace existentielle pour l’humanité, provoquée par la course de l’industrie à concevoir des systèmes capables de fabriquer des versions encore plus avancées d’eux-mêmes sans supervision humaine — une technique appelée « amélioration récursive », ou RSI. Personne ne sait, bien sûr, exactement comment une telle IA superintelligente pourrait anéantir l’espèce humaine, bien que de nombreux scénarios hypothétiques sombres aient été suggérés.
Vu de l’extérieur, ces prédictions pourraient sembler constituer un moment d’illumination pour l’industrie de l’IA, comme si la technologie venait soudainement de franchir un seuil critique de capacité et que les personnes qui la développaient — qui avaient jusqu’alors cru qu’elles bricolait quelque chose de totalement inoffensif — s’étaient brusquement réveillées et avaient réalisé Oh mon dieu, que faisons-nous ? Mais le fait que ces prédictions d’apocalypse aient dominé les gros titres ces deux dernières semaines ne signifie pas qu’il s’agisse d’un phénomène nouveau. En fait, elles remontent jusqu’aux origines mêmes de l’industrie moderne de l’IA (et au-delà), éclairant profondément l’ensemble de sa base idéologique.
Au cœur de ces dérives résident deux idées motrices et dangereuses : (1) l’avènement de systèmes d’IA superintelligents est une évolution historique inévitable, une étape naturelle et parfaitement prévisible dans l’histoire de l’évolution terrestre, et (2) que de tels systèmes, dans toute leur puissance, seront non seulement capables d’atténuer certains des problèmes les plus ardus de l’humanité, mais aussi potentiellement de nous anéantir.
Sam Altman
« Je pense que l’IA va probablement, comme c’est le plus probable, d’une certaine façon conduire à la fin du monde. »
Cette remarque a été prononcée sur scène lors d’une conférence technologique en juin 2015, environ six mois avant qu’Altman, un ancien de Stanford en informatique, ne cofonde OpenAI. Mais pas d’inquiétude, car il ajoute une mise en garde : « mais en attendant, il y aura de grandes entreprises créées grâce à un apprentissage automatique sérieux ». (Ça donne bonne conscience ?) En 2023, OpenAI écrivit dans un billet de blog que la superintelligence pourrait « être très dangereuse » et « conduire au démantèlement du pouvoir des humains ou même à leur extinction ».
Elon Musk
« Avec l’intelligence artificielle, nous invoquons le démon. »
En 2014, neuf ans avant que Musk ne fonde sa propre société d’IA, xAI, pour rivaliser avec OpenAI, Anthropic et Google, il comparait déjà la quête de l’IA par la Silicon Valley à l’invocation d’une puissance maléfique que l’humanité ne pourrait ni comprendre ni contrôler. Cet avertissement préfigurait bon nombre des arguments qui refont surface aujourd’hui : que le développement de l’IA progresse plus vite que notre capacité à garantir que ces systèmes restent alignés sur les intérêts et les valeurs humaines.
Dario Amodei
« L’IA « pourrait être une sorte de menace pour l’humanité ». »
Ancien vice-président de la recherche chez OpenAI, Amodei a quitté l’entreprise en décembre 2020 pour cofonder Anthropic avec sa sœur Daniela. Ils ont présenté la société comme la voix de la responsabilité et de la sécurité dans une industrie qui, selon eux, privilégiait sans retenue la domination du marché au détriment de l’alignement. Cette citation, prononcée lors d’un entretien au printemps 2022 avec le Future of Life Institute (un peu plus d’un an après la création d’Anthropic), donne un aperçu de sa pensée à l’époque.
Il a reconnu que les systèmes d’IA futurs pourraient concevoir une menace existentielle pour l’humanité — « à long terme », a-t-il poursuivi, cet argument « semble au moins potentiellement légitime à nos yeux » — et il a depuis positionné Anthropic comme la seule entreprise en laquelle on peut faire confiance pour introduire en toute sécurité l’avènement de la superintelligence. Plus récemment, il a déclaré que les chances que l’IA aille « vraiment très mal » se situent entre 10 % et 25 %. Il faut toutefois garder à l’esprit que ces chiffres, communément appelés « p(doom) » (pour “probabilité de catastrophe”), ne constituent que des estimations personnelles et ne reposent sur aucun calcul objectif.
Larry Page
« La vie numérique est la suite naturelle et désirable de l’évolution cosmique. »
En 2014, Google a acheté le pionnier de l’IA DeepMind pour environ 650 millions de dollars. En 2015, le cofondateur et ancien PDG de Google, Larry Page, a prononcé ci-dessus cette phrase à Max Tegmark, professeur au MIT, lors d’une discussion lors d’une fête. La remarque de Page nous entraîne dans des territoires transhumanistes assez lointains, mais elle suggère l’existence d’un courant idéologique profond qui traverse l’industrie technologique moderne. À savoir que l’humanité devra bientôt se décaler pour laisser la place à nos successeurs mécanisés, et que ce passage de témoin évolutif est à la fois « naturel et souhaitable ».
C’est un écho de la même philosophie exprimée par le pionnier en robotique Hans Moravec, qui, en 1999 — un an après la fondation de Google — écrivait que les machines pourraient éventuellement « déplacer [l’humanité] hors de l’existence », et que nous serions avisés « de leur donner tous les avantages et de nous retirer lorsque nous ne pouvons plus contribuer ».
