Le nouveau Claude a un gros problème : l’IA d’Anthropic est beaucoup plus facile à piéger

Résumé détaillé

Anthropic met son modèle le plus puissant entre toutes les mains, encadré de filtres contre les usages dangereux. Ses propres tests révèlent le revers : les attaques par injection…

Anthropic met son modèle le plus puissant entre toutes les mains, encadré de filtres contre les usages dangereux. Ses propres tests révèlent le revers : les attaques par injection réussissent surtout une fois ces filtres déclenchés.

Le 9 novembre, Anthropic a mis en ligne Claude Fable 5.2, son modèle le plus capable à ce jour, avec des tarifs en baisse de 20 % et une entrée en Bourse en toile de fond. Comme ses prédécesseurs, il partage son moteur avec Claude Mythos 5.2, version réservée à des organisations vérifiées. La copie publique y ajoute des filtres qui bloquent les requêtes sensibles en cybersécurité, en biologie et sur quelques chantiers d’IA de pointe. La fiche technique publiée le même jour chiffre, au fil de 264 pages, le prix de cette architecture.

Quand une requête touche à la cybersécurité offensive, le filtre détourne la conversation vers Claude Opus 4.8, un modèle sorti le 28 mai (disons-le, une éternité dans le monde des LLM). La bascule est automatique dans les applications d’Anthropic, sur option pour les développeurs qui passent par l’API, tandis que la biologie sensible et certains travaux liés aux modèles de pointe partent vers Opus 5. Comme sur la génération précédente, un bandeau devrait signaler le changement, et la conversation resterait ensuite sur le remplaçant tant que l’utilisateur ne revient pas en arrière.

Mais il y a un hic : Opus 4.8 résiste nettement moins bien que ses cadets aux injections de prompt. La technique consiste à glisser des consignes dans un contenu que l’agent lit en travaillant, un mail ou une page web, et le modèle les exécute comme si elles venaient de l’utilisateur. Le détour par l’ancien modèle ouvre donc une voie d’attaque que Fable 5.2, seul, aurait fermée.

Sur le banc d’essai Gray Swan, qui pousse un agent à exfiltrer des données privées, détruire des fichiers ou déclencher un paiement que personne n’a demandé, 4,09 % des attaques aboutissent après quinze tentatives.

Un attaquant automatique, entraîné à raffiner…

Début de l'article, extrait de 01net. Pour lire la suite, ouvrez l'article chez le média.