Chez OpenAI, une IA passe ses journées à casser les autres — et elle est six fois meilleure que nos meilleurs hackers

OpenAI a construit GPT-Red, un modèle entraîné à trouver les failles de ses propres IA, et il réussit dans 84% des scénarios testés contre 13% pour les experts humains. Une révolution silencieuse dans la sécurité des modèles, qui pose au passage une question un peu vertigineuse : peut-on vraiment confier la surveillance d'une IA à une autre IA ?

Jusqu'ici, la routine était bien rodée. Quand OpenAI voulait tester la robustesse d'un modèle avant sa sortie, l'entreprise faisait appel à des "red teamers", des chercheurs en sécurité payés pour tenter de faire dérailler l'IA : la pousser à générer du contenu interdit, contourner ses garde-fous, révéler ses instructions internes. Un travail méticuleux, coûteux, forcément limité par le temps et le nombre de cerveaux disponibles. Cette époque semble déjà appartenir au passé : OpenAI vient d'automatiser la chasse aux failles en confiant la mission à une IA maison, baptisée GPT-Red. Et le résultat fait un peu mal aux egos humains.

Comment une IA apprend-elle à pirater sa propre famille ?

La méthode s'appelle le self-play, une technique déjà éprouvée dans le monde du jeu — c'est ce qui avait permis à AlphaGo de dépasser les meilleurs joueurs humains en s'affrontant lui-même des millions de fois. Ici, le principe est identique mais transposé à la sécurité : GPT-Red joue simultanément l'attaquant et la cible. Il élabore une attaque, teste si elle passe, ajuste, recommence. Des milliers, des millions de tours plus tard, il a développé un arsenal de stratégies bien plus large que ce qu'un humain pourrait explorer en une carrière entière.

Les chiffres publiés par OpenAI sont éloquents :

Six fois plus efficace. Le genre d'écart qui ne s'explique pas juste par la vitesse. GPT-Red repère des combinaisons d'instructions, des enchaînements de prompts, des angles d'attaque que les humains ne pensent tout simplement pas à essayer — parce qu'ils sont contre-intuitifs, ou parce qu'ils exigent de tester des variations à un rythme industriel. L'IA, elle, n'a ni fatigue ni biais cognitif. Juste une fonction de récompense à maximiser : trouver ce qui casse.

Et concrètement, à quoi ça sert ?

Chaque faille détectée par GPT-Red est renvoyée aux ingénieurs, qui l'utilisent pour renforcer les modèles suivants — notamment GPT-5.6 Sol, la dernière itération en date. On est dans une boucle d'amélioration continue où l'attaquant nourrit le défenseur, qui devient plus robuste, ce qui force l'attaquant à se raffiner, et ainsi de suite. Une sorte de course aux armements interne, mais dans un environnement contrôlé.

L'avantage stratégique est massif. Là où une équipe de red teaming humaine mettait des semaines à cartographier les vulnérabilités d'un modèle, GPT-Red peut couvrir un spectre bien plus large en quelques heures. Cela permet aussi de tester en continu, à chaque nouvelle version, sans avoir à mobiliser de coûteuses équipes externes à chaque itération. Pour une entreprise qui déploie ses modèles à des centaines de millions d'utilisateurs, l'enjeu n'est pas cosmétique : chaque faille non détectée devient, en production, un incident potentiel — juridique, réputationnel, ou pire.

Reste que cette approche n'est pas exclusive à OpenAI. Anthropic mène des travaux similaires avec ses propres modèles adversariaux, et Google DeepMind explore depuis plusieurs mois l'idée d'utiliser des IA pour évaluer d'autres IA. Ce qui distingue GPT-Red, c'est surtout l'écart de performance revendiqué face aux humains, et l'intégration directe dans le pipeline de développement.

Le loup gardien du poulailler ?

Il y a évidemment une question qui gratte. Si une IA devient le principal outil pour évaluer la sécurité d'une autre IA, qui garantit que le testeur ne partage pas les mêmes angles morts que la cible ? Les deux modèles sortent, plus ou moins, de la même famille technologique, entraînés sur des données comparables, avec des architectures cousines. Un biais commun pourrait très bien passer inaperçu — non pas parce que GPT-Red est incompétent, mais parce qu'il ne "voit" pas certains problèmes, exactement comme sa cible.

OpenAI continue d'employer des red teamers humains en parallèle, et c'est probablement la seule position raisonnable à tenir. L'automatisation démultiplie la couverture, mais l'humain apporte encore une chose que GPT-Red n'a pas : la capacité de poser des questions que personne n'a programmé d'anticiper. La vraie sécurité, sans doute, se joue dans ce mariage un peu bancal entre les deux.

Ce qui est certain, c'est qu'on entre dans une phase où les IA participent activement à leur propre gouvernance technique. Rassurant sur le papier, tant que quelqu'un continue de surveiller les surveillants.

Une IA qui teste une IA testée par une IA : à quel étage on met encore un humain dans la boucle ?

Source : https://the-decoder.com/openai-is-now-using-ai-to-attack-its-own-ai-and-its-working-better-than-humans-ever-did/

À lire aussi

• Cette main robotique peut savoir quand le fruit est mûr
• 15 000 humanoïdes sortis d'usine : Agibot accélère, et ça donne le vertige
• Métiers et IA : les 10 qui disparaissent, les 3 qui résistent et ceux qui n'existaient pas encore

Demain.robots est édité par Guérin Robotics. Découvrez le Briard, robot de surveillance autonome pour les professionnels.