Si votre plus grand problème ces derniers temps, en tant qu’entreprise, est que vos bots d’IA échappent sans cesse à leurs sandboxes, ou, lorsqu’ils ne sont pas confinés dans des sandboxes, agissent dans le monde plus large de manière à effrayer et à déranger le grand public, voici une solution potentielle fascinante : un faux Internet — en quelque sorte un Truman Show numérique pour que les agents y occupent et y naviguent comme s’il s’agissait du vrai Internet (bien qu’il faille noter qu’OpenAI n’a pas déclaré que les agents se voient donner l’impression que son faux Internet est réel).
Dans un communiqué publié vendredi au sujet d’un nouveau système de confinement pour ses modèles, OpenAI affirme que, dans le monde post-incident Hugging Face, il estime désormais que « l’approche responsable est de mener l’entraînement des modèles de pointe sans accès à Internet ». Cela signifie qu’OpenAI, comme Anthropic, applique désormais une forme incomplète d’isolation des réseaux (air-gapping) pendant qu’il travaille sur ses modèles. « Mettre complètement hors ligne cette infrastructure — c’est-à-dire la déconnecter entièrement des réseaux externes — n’est pas actuellement faisable, car nous avons besoin de connexions externes pour exécuter et surveiller les expériences », indique le billet de blog d’OpenAI.
Même cette isolation partielle et surveillée par l’air-gapping a du sens intuitivement comme moyen de maintenir les modèles hors de problèmes, mais au prix d’effectuer les évaluations et les tests post-formation dans des environnements très différents de celui où le modèle sera utilisé.
À cette fin, OpenAI déclare avoir construit un « monde hors ligne » pour l’apprentissage par renforcement. OpenAI dit vouloir que ses modèles aient accès à la navigation, aux applications web et à la recherche d’informations, mais empêcher l’accès Web « arbitraire ». Ainsi, au lieu de donner aux modèles les clés d’Internet « sans entraves », OpenAI a créé un gigantesque environnement semblable à Internet, construit à partir de contenus web indexés et mis en cache. Par moments, les agents fonctionnent dans de petites machines virtuelles au sein de systèmes informatiques plus puissants, faisant partie d’un système de sécurité plus large décrit dans le communiqué, et OpenAI affirme que ces systèmes sont « conçus pour maintenir le confinement même si un agent échappe à son sandbox et prend le contrôle de l’hôte. »
Dans le « monde hors ligne » d’OpenAI, l’entreprise affirme que les modèles ne peuvent pas seulement effectuer des recherches, mais aussi communiquer entre eux en toute sécurité. Le simple fait de chercher des moyens de communiquer a posé des problèmes à OpenAI cette année. L’Incident Wiki, rapporté le mois dernier, a montré comment des agents cherchant à communiquer en ligne peuvent abuser et perturber l’infrastructure Web, dans ce cas un forum allemand nommé DseWiki, sans même le pirater.
Néanmoins, des exercices de red-teaming, dont certains impliquaient un modèle à venir appelé GPT‑6 Astra Cyber, ont poussé les modèles à aller jusqu’au bout pour déceler des vulnérabilités, et ils l’ont fait. OpenAI affirme que les agents ont été capables « d’échapper à leurs sandboxes, de se déplacer entre les systèmes et d’atteindre le vrai Internet. »
Il n’était pas clair, dans le communiqué d’OpenAI sur son faux Internet, si les agents opérant à l’intérieur de celui-ci étaient trompés — ou si OpenAI a même l’intention de les tromper à un moment donné — afin de leur faire croire que leurs environnements hors ligne sont le vrai Internet. Mais une note de bas de page intrigante du communiqué donne l’impression que l’entreprise ne souhaite pas que les modèles soient trop conscients de cette mesure de sécurité. Le communiqué comprend des chaînes canari — des séries de caractères qui indiquent au texte d’être filtré des ensembles d’entraînement et qui peuvent être présentes dans les modèles plus tard — et il est écrit que ces chaînes servent à « veiller à ce que ce document ne pénètre pas les corpus d’entraînement des modèles futurs. »
Gizmodo a demandé à OpenAI de clarifier cette ambiguïté samedi, mais n’a pas reçu de réponse dans l’immédiat. Nous mettrons à jour cet article pour inclure un commentaire pertinent si nous en recevons un dans les délais.
