En février dernier, deux missiles Tomahawk ont frappé l’école primaire Shajarah Tayyebeh, située dans la ville méridionale iranienne de Minab, dès le premier jour du conflit avec l’Iran. Les explosions ont fait plus de 150 morts, dont au moins 123 enfants.
Des reportages antérieurs avaient déjà pointé des données de ciblage obsolètes et soulevé des questions sur le rôle éventuel de l’intelligence artificielle dans ce mélange. Or, une enquête de Bloomberg publiée vendredi apporte de nouveaux éléments, citant des responsables impliqués dans une revue interne inédite du Pentagone. Selon ces responsables, certains personnels du Pentagone ont su dans les heures qui ont suivi que les États-Unis avaient touché l’école, et ils décrivent une série d’échecs évitables, dont une dépendance excessive à un outil d’IA développé par Palantir.
Trop de confiance dans l’IA
Selon les responsables cités par Bloomberg, certains agents du Commandement central américain (CENTCOM) se sont appuyés de manière trop importante sur l’intelligence artificielle intégrée au Maven, système Maven Smart, une plateforme d’intégration de données et de ciblage alimentée par l’IA conçue pour accélérer l’analyse du renseignement et la prise de décision. Le département de la Défense aurait fait de cet outil un pilier des opérations militaires au cours de l’année écoulée. Plusieurs anciens hauts responsables travaillent aujourd’hui pour Palantir, y compris certains détenteurs d’autorisations de haut niveau au quartier général du CENTCOM à Tampa.
Des responsables ont indiqué que certains utilisateurs s’attendaient à ce que Maven signale des enregistrements périmés ou des contradictions dans les renseignements rassemblés pour des cibles potentielles, même si l’on ne sait pas clairement pourquoi ils pensaient que le système le ferait. Le site de Minab, catalogué comme une installation des Gardiens de la Révolution islamique en raison de données obsolètes, a été intégré à Maven parmi d’autres candidatures et est ressorti comme une cible recommandée dès le jour 1. Le travail de préparation de la liste des cibles, qui prenait autrefois des heures, s’est réduit à quelques minutes.
Un porte-parole de Palantir a déclaré à Bloomberg que l’entreprise « ne peut pas être tenue responsable des données sous-jacentes ni de l’identification des déficiences du renseignement » et qu’il n’existe aucune preuve que le logiciel soit en faute. Deux personnes familières des contrats de Palantir avec le Pentagone ont affirmé que le gouvernement demeure seul responsable de la qualité des informations alimentant Maven. Après l’attaque, Palantir a ajouté des fonctionnalités permettant de « revérifier les renseignements sous-jacents afin d’identifier les facteurs qui pourraient disqualifier une cible et signaler les incohérences et les inexactitudes que l’examen humain aurait pu manquer », selon une source proche du dossier. Cette nouvelle capacité aurait déjà permis de repérer certaines anomalies.
Plus de 120 démocrates de la Chambre ont écrit au secrétaire à la Défense Pete G. Haegseth en mars pour demander quel rôle Maven et d’autres outils d’IA avaient joué dans l’identification de ce site. Le Pentagone n’a pas répondu publiquement, invoquant l’enquête en cours. Des responsables ont confié à Bloomberg que le rapport complet était presque achevé depuis des mois. Un porte-parole du Pentagone a déclaré que l’incident faisait toujours l’objet d’une enquête et a refusé tout commentaire complémentaire.
Des images obsolètes d’un site militaire devenu école
Dépendre excessivement de Maven n’était qu’un des trois échecs de la chaîne de frappes évoqués par Bloomberg. Les autres maillons étaient des renseignements défaillants et des images satellites périmées.
Des bases de données américaines avaient classé le complexe de Minab comme site militaire depuis des années, mais des images satellites commerciales montraient autre chose. La construction de murs et d’entrées séparées qui isolait l’école du camp adjacent semble s’être achevée en 2017. Une photo de 2018 révèle des murs peints de couleurs vives, un terrain de football, des rangées pour les assemblées et des marquages au sol sur l’aire de jeux.
Bloomberg a rapporté en juin qu’un analyste avait repéré des modifications dès 2019 et avait consign é ses remarques dans un système non relié à la base principale de renseignement militaire utilisée pour le ciblage. Ces notes n’ont jamais atteint les personnes qui avaient élaboré le paquet d’attaque. Le renseignement humain provenant du sud de l’Iran était limité, mais l’école avait son propre site et apparaissait sur Google Maps.
Le site est resté étiqueté comme une installation IRGC alors même que l’administration Trump appelait à une offensive d’ouverture écrasante. Plus de 1 000 cibles iraniennes ont été touchées dans les premières 24 heures, et selon les sources de Bloomberg, ce rythme a réduit le temps disponible pour des vérifications supplémentaires.
Le personnel des équipes de mitigation des dommages civils à travers le Département de la Défense des États-Unis avait lui aussi chuté d’environ 90 % ces dernières années, passant à moins d’une vingtaine de personnes au total. Le groupe de CENTCOM est passé de 10 personnes à une seule. Aucun membre de ces équipes n’a examiné le site de Minab avant que les missiles ne soient tirés.
Des enquêteurs de l’ONU qualifient cela de crime de guerre
Une enquête distincte menée cette semaine par la Mission indépendante des Nations unies pour l’établissement des faits sur l’Iran a conclu qu’il existait des motifs raisonnables de croire que les États-Unis avaient commis le crime de guerre consistant à lancer une attaque indiscriminée. Le rapport affirme que les États-Unis « ont failli à leur obligation de tout mettre en œuvre pour vérifier » que l’école constituait bien un objectif militaire et que cet échec « dépassait la simple négligence ». Le document précise que les États-Unis « ont dirigé les frappes vers le bâtiment de l’école tout en étant conscients d’un risque important de toucher un objet civilian et en agissant avec une imprudence quant à la possibilité que cela se produise ».
Malgré ces révélations, Washington n’a pas publiquement reconnu sa responsabilité. En mars, le président Trump a déclaré à des journalistes : « Non, à mon avis, sur la base de ce que j’ai vu, cela a été fait par l’Iran. Nous pensons que c’était l’Iran, car ils sont très imprécis, comme vous le savez, avec leurs munitions. » Dans une interview plus récente sur Fox News, Trump a ajouté : « Je ne pense pas que quelqu’un puisse jamais dire ce qui s’est passé là-bas. » Un haut responsable de l’administration a confié à Bloomberg : « Les États-Unis ne ciblent pas les civils », et le Département de la Défense a refusé tout commentaire sur le rapport de l’ONU.
Un schéma familier d’erreurs dans l’usage de l’IA par l’armée et les forces de l’ordre
Les erreurs associées à une dépendance excessive à l’IA deviennent un thème récurrent à mesure que la technologie s’enfonce davantage dans les pratiques militaires et policières. Dans un épisode distinct rapporté cette semaine, un analyste des opérations spéciales a utilisé un chatbot qui a « halluciné » qu’un navire arborant le pavillon chinois dans le Moyen-Orient transportait des composants d’armes nucléaires destinés à l’Iran. L’armée américaine s’est préparée à prendre le navire à bord et a renoncé à la dernière minute.
L’utilisation conjointe par les services de justice et de sécurité de la reconnaissance faciale et d’autres technologies d’IA a aussi donné lieu à des résultats désastreux. En Floride, une correspondance automatisée de reconnaissance faciale a conduit à l’arrestation d’un homme qui n’avait jamais mis les pieds dans l’État et qui était à plus de 400 miles de là au travail, ce qui l’a laissé passer des mois en détention et a entraîné la perte de son emploi et de son domicile. Dans un autre cas, un homme a été arrêté sur la base d’une correspondance, bien qu’il se trouvait plus de 300 miles loin au moment du crime présumé. Les accusations dans les deux affaires ont été abandonnées par la suite, mais ces cas s’inscrivent dans une liste beaucoup plus longue d’arrestations fausses au niveau national, fondées sur des scores logiciels.
Tandis que les professionnels de tous les domaines peuvent parfois surestimer ce que l’IA peut faire et ce qu’elle peut éviter, les enjeux restent bien plus importants dans les domaines militaire et policier, où une mauvaise utilisation humaine ou l’acceptation sans vérification des résultats automatisés peut provoquer des conséquences catastrophiques, pouvant être mortelles. Partant de ce constat, la question la plus pressante concerne peut-être la manière dont l’humain emploie cette technologie, plutôt que son potentiel théorique de puissance incontrôlable.