Claude, il s’avère, n’est pas un confident fiable. Selon un article de Gulf Coast Now, une femme floridienne a été arrêtée le mois dernier pour des menaces présumées envers les forces de l’ordre locales lors d’une conversation avec le chatbot d’Anthropic.
Selon le média, qui cite le procès-verbal de l’arrestation, la femme de 30 ans originaire de Bonita Springs, en Floride, semble avoir eu une conversation privée continue avec Claude au cours de laquelle elle a proféré plusieurs menaces visant le bureau du shérif du comté de Lee. La première menace, enregistrée le 26 septembre à 5 h 10, aurait été écrite: « Je vais tirer sur le bureau du shérif tout de suite avec ce [insulte] maintenant. » Dans un message suivant, envoyé à 1 h 07 le 27 septembre, elle a déclaré: « C’est 100% ma dernière chance, j’en ai fini. J’ai obtenu aujourd’hui un nouveau fusil [insulte]. [Insulte] toi. »
Maintenant, mettons de côté tout débat sur la gravité de cette menace ou sur le type de soutien dont une personne exprimant ce genre de comportements violents et antisociaux pourrait avoir besoin — ce sont des discussions sérieuses qui méritent une réflexion attentive. À présent, peut-on seulement réfléchir un instant à quel point il est tragiquement drôle d’être obligé d’attendre d’envoyer votre prochain message menaçant parce que vous avez atteint votre limite de jetons pour la journée ?
Ok, maintenant que c’est sorti de nos systèmes : selon le rapport, les messages envoyés par la femme auraient apparemment été signalés par le système de surveillance automatique de sécurité d’Anthropic, qui alerte les réviseurs humains chaque fois qu’un message atteint un certain seuil de risque. Des humains auraient effectivement examiné ces messages précis et décidé qu’ils étaient suffisamment sérieux pour prévenir les forces de l’ordre, et ils l’ont fait.
Anthropic n’a pas immédiatement répondu à la demande de commentaire envoyée par Gizmodo.
Dès que les autorités ont été informées des messages, elles ont rapidement arrêtée la femme à son domicile. Elle aurait été placée en détention sans incident et inculpée de menaces écrites de violence, ce qui constitue un crime grave de deuxième degré en Floride et peut entraîner une peine pouvant aller jusqu’à 15 ans d’emprisonnement et une amende pouvant atteindre 10 000 dollars.
Après son arrestation, le shérif du comté de Lee, Carmine Marceno, a déclaré à WINK News que la femme avait expliqué aux forces de l’ordre qu’elle utilisait Claude comme un « journal intime ». Mais Claude ne semble manifestement pas fonctionner aussi privément que ce à quoi elle le destinait. Selon les documents d’assistance d’Anthropic, l’entreprise « ne divulgue pas d’informations sur les clients ou les utilisateurs finaux de nos services en réponse à des demandes gouvernementales, sauf en conformité avec une procédure légale valable », mais elle prévoit une exception: « si nous estimons qu’il existe une urgence pouvant entraîner un préjudice physique imminent ou la mort, et que la communication de telles informations sans délai pourrait prévenir cette urgence ». Il semble que cette situation ait été considérée comme atteignant ce niveau par Anthropic.
Cette affaire rappelle utilement à ceux qui pourraient traiter les chatbots comme un thérapeute ou comme un enregistrement privé de leurs pensées: vous n’êtes pas uniquement en train d’écrire dans le vide. Ce que vous dites peut être utilisé non seulement pour potentiellement former un modèle, mais, dans certaines circonstances, peut même être partagé avec les forces de l’ordre sans votre consentement.
Donc, si vous éprouvez une rage finalement impuissante que vous devez extérioriser, cherchez d’abord des ressources réelles qui peuvent vous aider plutôt qu’un chatbot qui est bien plus qualifié pour être un sténographe que pour être psychiatre. Et si vous avez besoin d’un soulagement immédiat, peut-être essayez de le crier dans un oreiller. Assurez-vous simplement de ne pas avoir une Alexa dans la pièce.
