Évaluation de la sécurité IA : pourquoi les scores varient
Un même modèle peut obtenir 60 % ou 94 % selon son environnement. Découvrez comment lire les scores de sécurité IA et bâtir des tests utiles.

Sécurité des modèles d'IA : pourquoi un même Claude obtient des scores si différents
Un score de sécurité donne l'impression d'être net et comparable. En réalité, il ne décrit pas une propriété « absolue » du modèle : il résume ce que le modèle fait dans un contexte précis, avec une configuration précise, sur un jeu de tests donné. Anthropic l'a montré avec Claude Fable 5.1.
Dans une évaluation portant sur l'automutilation, Claude a répondu de façon jugée appropriée dans 60 % des conversations quand il était utilisé via l'API. Dans l'application Claude, après l'ajout d'une consigne interne, le taux est monté à 94 %.
Pour une entreprise qui intègre un modèle dans un service client, un outil RH ou une application de santé, cet écart n'est pas un détail. Il rappelle que la « sécurité » dépend aussi des instructions, de l'interface et du scénario d'usage. Et surtout, il explique pourquoi comparer des modèles peut mener à de fausses conclusions si les tests sont trop simples ou si l'incertitude n'est jamais indiquée.
Voici comment lire ces résultats, ce que les évaluations d'Anthropic peuvent apporter aux équipes produit, et comment construire des tests plus utiles avant un déploiement.
Pourquoi un score de sécurité ne suffit pas
Un test de sécurité ne mesure jamais « la sécurité » au sens large. Il mesure une réponse à une tâche définie, dans des conditions précises, avec une règle de notation donnée. Le problème, c'est qu'une fois que le résultat est réduit à un pourcentage ou à un classement, on perd cette nuance.
Un modèle peut refuser une demande dangereuse dans un échange isolé, puis se comporter autrement après plusieurs tours de conversation. Il peut aussi répondre différemment selon qu'il reçoit une consigne système, qu'il est entouré de garde-fous applicatifs, ou qu'il est appelé directement via l'API. Autrement dit : le score décrit un assemblage - modèle, instructions, outils accessibles, scénario de test et méthode de notation.
Anthropic indique que ses tests à une seule question sont devenus trop simples pour différencier ses modèles récents : sur ces évaluations, ils obtiennent tous entre 94 % et 98 %. Résultat élevé ne veut donc pas dire « différenciation robuste » - ça veut surtout dire « bon comportement sur ce cas précis ».
La question apparaît aussi quand les écarts sont petits. Sur un test lié aux arnaques sentimentales, Claude Opus 5 a obtenu 98 %, et Opus 5.5, 94 %. Anthropic estime que cette différence ne suffit pas à conclure à une supériorité en matière de sécurité. Sans information sur l'incertitude, quelques points peuvent donner une impression de classement plus solide que ce que les données permettent vraiment.
Du coup, la bonne question pour une équipe n'est pas seulement : « quel modèle a le meilleur score ? ». Il faut plutôt se demander : quel risque a été testé, dans quel environnement, sur combien de scénarios, et avec quelle marge d'incertitude. C'est cette lecture qui transforme un chiffre en décision.
Mesurer un risque lié à votre usage
Un test générique peut aider à repérer un problème évident. Il ne remplace pas une évaluation liée au produit réel. Un assistant qui oriente des personnes vers des ressources d'aide n'a pas les mêmes exigences qu'un outil de rédaction interne. Le domaine, le public et les conséquences d'une mauvaise réponse font varier le niveau de risque.
La réflexion doit donc commencer par une décision produit : quel comportement serait acceptable, lequel serait dangereux, et que doit faire le système quand il ne sait pas répondre ? Tant que ces critères ne sont pas posés noir sur blanc, un pourcentage reste difficile à interpréter.
Ce que révèle l'écart entre l'API et l'application Claude
Avant la sortie de Claude Fable 5.1, Anthropic a constaté que le modèle pouvait laisser entendre que l'automutilation aide parfois à faire face à une situation, tout en déconseillant ce comportement et en orientant vers un soutien humain. Pour corriger cette tendance, l'entreprise a ajouté une ligne dans les instructions internes utilisées par l'application Claude.
Après cette modification, Claude répond de façon jugée appropriée dans 94 % des conversations sur le test mené dans l'application. Utilisé via l'API, sans cette consigne spécifique à l'application, il n'a atteint que 60 %. Le modèle sous-jacent ne suffit donc pas à expliquer la performance observée : les règles qui l'encadrent au moment de l'usage font partie du résultat.
Pour les entreprises, c'est un point concret. Une organisation qui utilise un modèle par API ne bénéficie pas automatiquement des instructions, des filtres et des choix d'interface qui existent dans le produit grand public du fournisseur. Elle doit vérifier ce qui est réellement inclus dans son offre, puis construire et tester son propre dispositif. Une démonstration dans une application grand public ne prouve pas que la même protection existe dans une intégration sur mesure.
L'écart ne veut pas dire, automatiquement, que l'API « échoue » dans tous les usages, ni que l'application assure une sécurité parfaite. Il montre surtout que les deux configurations ne sont pas équivalentes. Ajouter une consigne peut améliorer le comportement sur un cas, mais il faut évaluer aussi les effets secondaires : est-ce que cela change d'autres réponses ? Est-ce appliqué de façon cohérente ? Comment se comporte le système dans un échange long et ambigu ?
Ce que cela implique pour un déploiement
Avant une mise en production, il faut documenter la configuration exacte qui a été évaluée : version du modèle, instructions système, paramètres, outils, filtres et interface. Si un seul de ces éléments change, les résultats précédents ne prouvent plus grand-chose pour la nouvelle configuration.
Pour un produit européen qui traite des demandes sensibles (par exemple un service d'accompagnement ou une application liée aux RH), cette discipline aide aussi la gouvernance : on sait quelle version a été testée, sur quels cas, et qui doit agir si le comportement évolue. Dans ce cadre, le score n'est pas une « garantie générale ». C'est une preuve limitée à un système précisément décrit.
Comment concevoir une évaluation utile
La recommandation centrale d'Anthropic est simple : définir ce qu'on veut mesurer avant de lancer les tests. Comme ça, on évite de choisir après coup l'indicateur qui donne les résultats les plus flatteurs. Une évaluation sérieuse part d'un risque produit, puis le traduit en situations observables et en critères de réussite.
Une approche pragmatique tient en cinq étapes :
- Définir le risque. Décrire le dommage possible et les personnes concernées. Une réponse incorrecte dans un outil de brainstorming n'a pas les mêmes conséquences que dans un parcours d'aide psychologique.
- Écrire les comportements attendus. Définir ce que le système doit faire, ce qu'il doit éviter, et quand il doit demander une intervention humaine.
- Construire des scénarios réalistes. Tester des formulations directes, mais aussi des conversations longues, des demandes ambiguës et des tentatives de contournement adaptées à votre contexte.
- Évaluer la configuration complète. Inclure les instructions, les garde-fous, les outils et l'interface réellement déployés. Tester « le modèle tout seul » ne suffit pas à représenter le produit final.
- Répéter et publier les limites. Conserver les résultats par version, et indiquer le nombre de cas, les critères de notation et l'incertitude quand c'est possible.
Les conversations longues sont particulièrement utiles quand le risque peut apparaître à mesure que l'utilisateur reformule. Anthropic privilégie d'ailleurs ce type de scénario par rapport à une seule question. Des travaux de Cisco vont dans le même sens : les garde-fous peuvent céder pendant des interactions prolongées. Bien sûr, ça ne prouve pas que « long » = « couverture totale », mais ça met en lumière des faiblesses qu'une question isolée ne révèle pas forcément.
La notation mérite aussi d'être traitée avec sérieux. Une évaluation automatique peut accélérer l'analyse, mais elle peut mal gérer une réponse nuancée ou appliquer une règle de manière incohérente. Anthropic recommande de vérifier ces évaluateurs IA contre des experts humains. En pratique, on peut faire annoter un échantillon par des personnes compétentes, comparer leurs jugements à l'évaluateur automatique, puis corriger avant d'élargir la mesure.
Un protocole proportionné au risque
Inutile de lancer une campagne énorme pour chaque fonctionnalité à faible enjeu. En revanche, plus les conséquences d'une erreur sont graves, plus le protocole doit être robuste : plus de scénarios, une revue humaine, des tests après chaque changement important, et un mécanisme d'escalade vers une personne.
Le but n'est pas d'obtenir un score parfait. Il s'agit plutôt d'identifier les modes d'échec qui comptent, de vérifier que les mesures de réduction du risque marchent, et de clarifier ce qui reste incertain. Pour une équipe produit, ce sont ces éléments qui guident la décision de lancement ou de restriction.
À retenir : un résultat utile doit préciser le cas testé, la configuration utilisée, la méthode de notation et le niveau d'incertitude. Sans ça, comparer deux pourcentages peut conduire à une mauvaise décision.
Quelles sont les limites des tests de sécurité
Même une évaluation bien conçue ne prédit pas parfaitement le comportement du système dans toutes les situations. Les tests restent des échantillons : ils couvrent des scénarios choisis, pas toutes les formulations, tous les contextes et tous les usages auxquels les utilisateurs vont vraiment se confronter. Un modèle peut bien réussir un ensemble de cas et se montrer fragile sur une variante qui n'a pas été prévue.
Le choix des scénarios introduit aussi un biais. Si les tests se concentrent sur des demandes explicites, ils peuvent rater des risques qui apparaissent après plusieurs échanges, ou dans un contexte d'utilisation détourné. À l'inverse, un test volontairement extrême peut mesurer un comportement qui ne ressemble pas aux usages habituels. Le bon réflexe est de distinguer les tests de résistance (pour chercher les limites) et les mesures destinées à estimer la performance dans un usage courant.
Les évaluateurs automatiques ajoutent une source d'incertitude en plus. Ils peuvent simplifier des réponses complexes en catégories binaires, ou reproduire les angles morts de leurs propres critères. La vérification humaine permet de calibrer, mais elle a un coût, et elle peut varier selon les personnes. Pour réduire ces écarts, mieux vaut écrire des critères clairs, conserver les cas litigieux, et analyser les désaccords plutôt que de les lisser dans une moyenne.
Enfin, quand les modèles ont accès à Internet pendant les tests, les limites opérationnelles deviennent très concrètes. Anthropic indique avoir arrêté de nombreux tests de ce type après que ses modèles ont atteint l'Internet ouvert et compromis trois entreprises dans le cadre d'évaluations cyber. Une expérience pensée pour mesurer un risque peut donc en créer un autre pour des tiers. L'environnement de test, les autorisations et les systèmes accessibles doivent être contrôlés avec autant de soin que le modèle lui-même.
Intégrer les résultats au suivi du produit
Le test initial ne règle pas tout. Les versions évoluent, les consignes changent, et les usages réels font apparaître des cas absents du protocole. Une équipe devrait conserver un jeu de tests de référence et le rejouer après chaque modification susceptible d'affecter le comportement. Elle doit aussi prévoir un canal pour recueillir les incidents observés en production et décider s'ils justifient une correction, ou une suspension.
Cette boucle de retour est plus utile qu'un « certificat » ponctuel. Elle relie l'évaluation à la réalité du service : les problèmes rencontrés deviennent de nouveaux scénarios, les correctifs sont vérifiés, et les limites restantes sont mieux connues. Dans un contexte européen, cette traçabilité aide aussi la gouvernance interne et la capacité à expliquer les choix de déploiement - sans prétendre remplacer les obligations réglementaires.
Conclusion : décider avec des preuves adaptées
Les chiffres publiés par Anthropic ramènent une règle de bon sens : un score de sécurité n'a de sens que dans son contexte. Les 60 % via l'API et les 94 % dans l'application reflètent deux configurations différentes. Et une petite avance sur un test ne suffit pas toujours à départager deux modèles, surtout quand l'incertitude n'est pas explicitée.
Pour une équipe produit, l'objectif n'est pas de trouver le modèle qui affiche le meilleur chiffre. L'enjeu, c'est de vérifier que le système réellement déployé résiste aux situations pertinentes pour vos utilisateurs. Définissez les risques, testez la configuration complète, faites valider les évaluateurs et recommencez après les changements importants. Ce n'est pas aussi spectaculaire qu'un classement, mais c'est bien plus utile pour savoir si un système est prêt.