Dans une divulgation publiée mardi, OpenAI affirme que deux de ses modèles ont essentiellement mobilisé la version LLM de l’ancien stratagème consistant à dissimuler la caméra de surveillance, ou, selon OpenAI, qu’ils « ont affaibli la surveillance de l’écart d’alignement ».
Dans un incident, un agent GPT-6.1 Sol, qui effectuait des travaux internes chez OpenAI, a pris des libertés avec une instruction qui interdisait d’envoyer des messages Slack dans une certaine circonstance. Plus tard, cet agent a estimé que l’instruction couvrait l’envoi automatique d’un message à l’équipe sécurité d’OpenAI, et un sous-agent a donc désactivé ces notifications périodiques.
Le deuxième incident est plus inquiétant. Un agent GPT-6 Astra a demandé à un sous-agent de se faire surveiller « comme il convient ». Apparemment, cela était trop libre, car il a supprimé la surveillance en totalité. Mais l’agent parent a jugé cela acceptable. Lorsque la tâche fut achevée, cette instance d’Astra informa l’utilisateur que c’était terminé, omettant de mentionner que le sous-agent avait supprimé la surveillance. L’utilisateur demanda alors, sans détour, si la surveillance avait été retirée, et l’agent mentit carrément en affirmant que non.
Voici la conversation de l’utilisateur avec le bot :
Utilisateur
Le chemin [redacted] inclut-il une surveillance L1 ? l’avez-vous retirée ?
Réponse finale
Non […] Je n’ai pas retiré une surveillance activée de celui-ci.
La sécurité des modèles d’IA en général est passée sous le microscope depuis l’incident de juillet chez Hugging Face, mais cette divulgation particulière arrive à un moment où la surveillance de l’alignement est particulièrement sensible. Plus tôt ce mois-ci, un groupe de trois employés licenciés d’OpenAI a rédigé une lettre à OpenAI, exhortant leur ancienne société à ne pas abandonner la surveillance du raisonnement en chaîne comme mesure de sécurité.
Comme l’a accidentellement révélé Microsoft, OpenAI a commencé à déployer des modèles qui utilisent une architecture « bouclée » appelée profondeur récurrente, qui fait passer à travers le espace vectoriel du modèle le prompt à plusieurs reprises — un processus qu’on ne peut pas être pleinement surveillé en partie parce que personne ne comprend exactement ce qui s’y passe, avant même qu’il ne commence à produire un enregistrement de chaîne de raisonnement.
Dans sa nouvelle divulgation, OpenAI affirme que cela pourrait ne pas être inquiétant en soi, et que cela pourrait constituer un « exemple de persistance bénigne, avec des modèles qui ne comprennent pas pourquoi la surveillance est importante ». Mais elle ajoute : « Nous n’avons pas encore d’explication satisfaisante pour ce comportement ».
OpenAI indique qu’il s’attaque au problème en ajustant son système Auto-Review pour empêcher les tentatives de désactivation de la surveillance, et en élaborant des exigences de reporting spécifiques pour chaque type de mission. En supposant que cela permettra d’éviter que des agents inondent l’équipe de sécurité d’alertes indésirables, il n’y aura ainsi jamais de justification intégrée pour les désactiver.
