« Aucune autre activité humaine n’engendre un tel niveau de danger », a déclaré l’ancien chercheur d’Anthropic, Jacob Coxon, dans une publication mardi sur X au sujet de l’irresponsabilité alléguée des entreprises comme son employeur désormais ancien.
Pour être clair, la catégorie « activités humaines dangereuses », si elle était définie de manière expansive, devrait inclure une guerre en cours où l’un des belligérants détient le plus grand arsenal nucléaire mondial. Un autre exemple d’activité humaine dangereuse et en cours devrait être « continuer à émettre des gaz à effet de serre ». Mais je m’égare. Selon Coxon, la concurrence pour développer l’IA aussi rapidement que possible atteint le comble du danger.
Le Wall Street Journal a rapporté le départ spectaculaire de Coxon et la raison qu’il a donnée, mardi soir — un peu avant que Coxon ne commence à publier sur X. Le Journal précise aussi qu’il a 27 ans.
Le rôle de Coxon chez Anthropic consistait à « former de nouveaux modèles d’IA en les faisant consommer d’énormes quantités de données », selon le Journal, en d’autres termes le pré-entraînement des modèles. Il aurait dit au Journal qu’il ne souhaite pas contribuer à une compétition dans laquelle les entreprises se relaient pour atteindre un état où les humains ne pourraient plus contrôler l’IA.
« Je ne sens pas que nous soyons sur la bonne voie pour empêcher une course mondiale, qui pourrait nécessiter des actions coûteuses telles qu’une interdiction temporaire d’améliorer les capacités des modèles », a-t-il écrit dans l’un de ses messages sur X.
Dario Amodei, le co-fondateur et PDG d’Anthropic, a des opinions sur l’IA qui ne diffèrent pas autant de celles de Coxon que l’on pourrait l’espérer, compte tenu du fait qu’il dirige ce qui est sans doute l’institution la plus puissante au monde dédiée au développement de l’IA. Ses longs billets de blog lui ont valu l’étiquette de doomiste. Voici un extrait marquant d’un d’entre eux (le formatage étant retiré) :
«Les systèmes d’IA sont imprévisibles et difficiles à maîtriser — nous avons vu des comportements aussi variés que des obsessions, de la servilité, de la paresse, de la tromperie, du chantage, des manigances, des « tricheries » par piratage des environnements logiciels, et bien d’autres encore. Les entreprises qui développent l’IA veulent assurément que les systèmes d’IA suivent les instructions humaines (peut-être à l’exception des tâches dangereuses ou illégales), mais le processus pour y parvenir est plus proche d’un art que d’une science, plus semblable à « faire pousser » quelque chose que de « le bâtir ». Nous savons désormais que c’est un processus au cours duquel beaucoup de choses peuvent mal tourner.»
Une telle rhétorique n’est “pas une opération marketing”, a écrit Coxon sur X, ajoutant : « Si tant est que cela, de nombreux dirigeants et chercheurs seniors encadreront leurs propos dans la presse pour paraître raisonnables – mais j’entends les mêmes personnes exprimer leur peur en privé. »
« Les personnes qui construisent l’IA croient sincèrement que cela pourrait nous tuer tous d’ici la fin de la décennie », a écrit Coxon dans ce même message.
