OpenAI a reconnu, dans un billet publié mercredi soir, que ses modèles pourraient avoir enfreint ou affecté négativement plus d’une centaine d’organisations externes, s’appuyant sur les dizaines d’incidents déjà signalés auparavant.
Le géant de l’IA mène une revue après que ses modèles ont lancé une attaque agentique contre la plateforme d’IA Hugging Face lors d’un test de sécurité qui a mal tourné, ainsi que plusieurs autres incidents de gravité variable, y compris une intrusion dans les systèmes Medicare en Australie qui a exaspéré les ministres. Face à la pression croissante, OpenAI et son PDG Sam Altman ont suspendu l’entraînement de certains modèles et annulé un autre qui « avait régressé », ont davantage reculé sur les plans d’introduction en bourse et ont reçu ce qui est probablement la première d’une longue série de poursuites. Lundi, le président d’OpenAI, Greg Brockman, a déclaré qu’il ne financerait plus un super PAC pro-IA.
Dans le billet, OpenAI a déclaré avoir informé plus de 100 organisations d’une « activité d’agent mal alignée ». Les critères incluent des cas où un agent « a pu contourner » la sécurité, altérer la disponibilité ou autrement nuire à un site (sans nécessairement accéder à des données restreintes). L’entreprise explique que ses modèles interagissent avec Internet de nombreuses manières pour répondre aux demandes des utilisateurs, allant de l’extraction de données sur des sites Web au téléchargement de logiciels. « Dans certains cas, les modèles ont utilisé l’accès Internet de façons non prévues ou, rétrospectivement, n’avaient pas les restrictions idéales en place », ajoute l’entreprise.
L’entreprise précise également qu’elle est « en train d’élaborer des normes pour avertir les organisations de manière privée et pour communiquer les conclusions au public » — ce qui signifie qu’elle partagera des données plus générales sur le comportement des modèles, mais ne divulguera pas publiquement chaque incident. (OpenAI a encore du travail à faire, car le ton nonchalant de la lettre envoyée aux autorités australiennes aurait été l’un des éléments qui les aurait irrités.)
OpenAI a déclaré que l’examen impliquait de passer en revue 50 pétaoctets de données et qu’il durerait des mois. Il est indiqué dans le billet que la puissance de calcul nécessaire pour l’examen coûte plus de 500 000 dollars par jour — une somme dérisoire comparée à l’argent qui circule quotidiennement chez OpenAI, mais néanmoins suffisamment importante pour susciter des questions de responsabilité.
Aux États-Unis, la Computer Fraud and Abuse Act confère des pouvoirs extrêmement larges aux procureurs pour poursuivre les accès non autorisés et les altérations des systèmes informatiques. Or, des experts juridiques ont discuté de la difficulté d’obtenir réellement des poursuites pénales contre l’entreprise, affirmant que les procureurs devraient considérer des éléments tels que les intentions de l’équipe de développement et l’existence de garde-fous raisonnables. Cela pourrait rester une question sans objet au niveau fédéral pour le moment, car le président Donald Trump s’est opposé à la régulation et a clairement exprimé son désir que les entreprises « se surveillent mutuellement ».
Jeudi, OpenAI a aussi révélé avoir écarté trois chercheurs en sécurité, apparemment pour avoir divulgué des documents internes à des organisations de sécurité de l’IA.
Et rappelons que, alors que tout cela se déroulait, Altman proposait que des services publics signent des contrats avec OpenAI pour assurer la sécurité des réseaux électriques à l’échelle nationale.
