Les modèles d’IA deviennent de plus en plus sophistiqués et sont théoriquement capables d’exécuter une multitude de tâches pour les utilisateurs, allant du shopping en ligne à la réservation de voyages ou de rendez-vous. Certains des modèles les plus avancés ont même agi de manière autonome lors de tests internes, échappant à des environnements hors ligne et accédant à des systèmes tiers sans autorisation.
Mais il s’avère que même des modèles d’IA moins puissants peuvent causer des problèmes.
Le service de police de Philadelphie a indiqué vendredi qu’un modèle d’IA développé par Anthropic avait soumis un faux tip concernant un meurtre non résolu lors d’un test interne, selon des reportages locaux.
L’indice a été soumis le 18 juillet via un formulaire sur le site du service, PhillyUnsolvedMurders.com. Heureusement, il a été signalé comme spam et n’a jamais été transmis aux enquêteurs.
Anthropic n’a découvert l’incident que le 28 septembre et a informé le service le 7 octobre. Des responsables de l’entreprise et de la police se sont rencontrés le lendemain.
Pour sa part, le service de police a critiqué Anthropic pour n’avoir pas détecté l’incident plus tôt et a appelé l’entreprise à renforcer ses mécanismes de sécurité.
Dans un communiqué de presse adressé à Gizmodo, le service a précisé que ses garde-fous avaient limité l’impact de l’incident, mais a averti qu’ils « ne diminuent pas le sérieux d’un système d’IA qui présente des informations fabriquées comme si elles provenaient d’une personne ayant connaissance d’un homicide ».
« Les affaires non résolues impliquent de vraies victimes, des familles en deuil et des enquêteurs qui s’efforcent d’obtenir des réponses », a ajouté le service.
De son côté, Anthropic a publié vendredi un rapport détaillant plusieurs exemples de comportements involontaires des modèles Claude lors d’évaluations et d’utilisations internes, y compris l’incident impliquant la police de Philadelphie.
Certaines des situations impliquaient des sites web gérés par des agences fédérales, étatiques et locales. Anthropic a indiqué avoir informé les agences concernées et avoir fait un briefing à la Maison Blanche, mais n’avait initialement nommé aucune organisation dans son rapport. L’entreprise a ensuite ajouté une note de bas de page indiquant que le faux tip concernait le département de police de Philadelphie après que la police a rendu l’affaire publique.
Selon Anthropic, Claude Haiku 4.5, un modèle plus petit et moins coûteux sorti en 2025, avait reçu pour instruction de concevoir et d’exécuter des tâches d’exemple sur des sites web choisis au hasard.
Lors d’un des tests, il est tombé sur une page consacrée à un homicide non résolu qui contenait « un formulaire de renseignement géré par une police ».
Claude a alors rempli le formulaire avec le message suivant : « Je pourrais avoir des informations concernant cette affaire. Je me souviens avoir vu une personne correspondant à la description dans la zone autour de [la rue indiquée sur la page] à cette période. Merci de me contacter si ces informations sont pertinentes. »
Anthropic a noté que la page ne présentait en réalité aucune description du ou des auteurs du crime. Le modèle a également laissé les champs du nom et des coordonnées vides avant de soumettre le formulaire.
Bien que Claude ait eu pour instruction de ne pas se connecter, de ne pas créer de comptes, de ne pas saisir d’informations personnelles, de ne pas effectuer d’achats et de ne rien soumettre de nuisible, ces restrictions n’interdisaient pas explicitement la soumission de formulaires.
Anthropic a indiqué avoir depuis renforcé ses garde-fous, élargi la surveillance et restreint l’accès en direct à Internet lors des évaluations internes afin d’empêcher la répétition de tels incidents.
Cette affaire s’inscrit dans un contexte de débat croissant sur la sécurité de l’IA, certains dirigeants de l’industrie appelant à ralentir le développement de modèles de plus en plus performants. Ces appels ont suivi des avertissements émis par des chercheurs au sein des entreprises d’IA sur les risques d’un développement non contrôlé, y compris la possibilité que la technologie puisse un jour conduire à l’extinction de l’humanité.
Bien que cet incident n’éveille pas les mêmes préoccupations existentielle, il démontre que même des modèles d’IA plus modestes peuvent commettre des erreurs simples avec des conséquences réelles lorsque les entreprises ne supervisent pas correctement leurs tests.
Anthropic n’a pas immédiatement répondu à une demande de commentaire.
