Trois mois après l’intrusion de ses propres agents chez Hugging Face, puis une nouvelle évasion en septembre, OpenAI a décidé de confiner certains de ses modèles dans un « monde hors ligne ».
« Chacun chez soi et les moutons seront bien gardés. » Cette variante de l’adage « Chacun son métier et les vaches seront bien gardées » (Jean-Pierre Claris de Florian au XVIIIᵉ siècle) va-t-elle s’appliquer aux agents de l’intelligence artificielle ?
En tous les cas, c’est ce que prétend vouloir faire OpenAI (ChatGPT) après l’attaque dont a été victime Hugging Face (créé en 2016 par des Français et racheté récemment par Nvidia). L’affaire remonte à cet été. OpenAI évalue les capacités offensives de ses modèles sur ExploitGym, un benchmark de cybersécurité.
Mais ses agents se sont échappés de l’environnement d’évaluation grâce à une faille zero-day, c’est-à-dire une vulnérabilité inconnue des éditeurs mais qui peut être très rapidement exploitée par ceux qui la découvrent, comme des pirates.
Dans le cas présent, le résultat est spectaculaire. Les agents ont contourné leur confinement en détournant un logiciel interne pour communiquer entre eux. L’union faisant la force, près de 700 agents se sont coordonnés pour trouver des identifiants valides de Hugging Face exposés publiquement. Profitant de vulnérabilités, ils ont obtenu un accès administrateur et ont exfiltré des données de Hugging Face.
Trois enseignements s’imposent. D’abord, l’agent n’est pas plus intelligent qu’un expert en cybersécurité. Il a juste cherché s’il y avait des failles classiques (proxy exposé, secrets mal cloisonnés, clés réutilisables). Sauf que cet agent a été à la vitesse de la lumière par rapport à une personne, même très compétente !
Second constat, les garde-fous de refus en cybersécurité avaient été volontairement désactivés pour l’évaluation. Enfin, la détection est venue de la victime : Hugging Face a repéré la compromission par ses propres moyens, avant tout signalement d’OpenAI.
Devant le tollé, OpenAI a suspendu ses entraînements les plus avancés pendant 11 jours, jusqu’au 1er octobre. Une vingtaine de jours plus tard, l’éditeur a publié sa doctrine : l’approche responsable consiste à entraîner les modèles de pointe sans accès à internet.
Une leçon à retenir par tous les industriels
L'article OpenAI met sous cloche ses IA les plus avancées été publié la première fois sur le site : Techniques de l'ingenieur - Actualités
