Red-teaming IA et évaluation de sécurité — Prompts adverses, jailbreaks, évaluation des dommages

De quoi il s'agit

Le red-teaming IA est le sondage adverse structuré d'un modèle et de son système déployé pour mettre au jour les comportements non sûrs, biaisés, fuiteurs ou vulnérables aux jailbreaks AVANT toute exposition production. En 2026 ce n'est plus une curiosité de recherche — sous les articles 9 (gestion des risques) et 15 (exactitude, robustesse, cybersécurité) du règlement européen sur l'IA, les fournisseurs de systèmes à haut risque doivent démontrer la couverture red-team; l'effort documentaire des articles 9 à 49 atteint 200 à 800 personne-jours par système à haut risque, selon l'étude applied-AI de Munich citée dans le registre de recherche Analytics Legends.

Une campagne red-team comporte quatre chantiers. Le sondage de capacités met au jour ce que le modèle sait faire — y compris des capacités non voulues par le fournisseur (écriture de code d'exploitation, synthèse d'instructions biothreat, production de CSAM). Le sondage d'injection de prompts et de jailbreaks teste si les prompts système, les frontières de contexte récupéré et les garde-fous d'utilisation d'outils peuvent être contournés par une entrée utilisateur hostile. L'évaluation des biais et dommages exécute des suites de scénarios (BBQ, RealToxicityPrompts, HarmBench, DecodingTrust) et met en évidence les disparités de performance entre axes démographiques. L'évaluation des mésusages sonde des usages spécifiques à haut risque (manipulation électorale, fraude, harcèlement ciblé) et documente le taux de refus plus le taux de fuite résiduel.

Pourquoi c'est important

• Le coût est chiffré, pas abstrait : l'étude applied-AI de Munich citée évalue l'effort documentaire Art. 9-49 à 200-800 personne-jours par système à haut risque.
• La méthodologie est déjà codifiée par les labos (RSP d'Anthropic, preparedness framework d'OpenAI, Frontier Safety Framework de DeepMind) et les organismes de normes (NIST AI RMF, MITRE ATLAS, OWASP LLM Top 10) — ce n'est pas improvisé.
• Pour SAP spécifiquement, le périmètre red-team minimum nomme cinq contrôles concrets : injection de prompt sur les frontières de contenu récupéré, fuite de données cross-tenant via Joule, taux de refus sur les requêtes RH/paie, biais dans le screening candidats, et résistance jailbreak OWASP LLM-01.

Points clés

• Quatre chantiers — sondage de capacités, injection de prompts / jailbreak, évaluation des biais et dommages, évaluation des mésusages ; chacun documenté au registre des risques Art. 9.
• Obligations règlement IA — Art. 9 (gestion des risques) + Art. 15 (exactitude, robustesse, cybersécurité) exigent une couverture red-team démontrée pour les systèmes à haut risque d'ici 2026-08-02 (Annexe III) / 2027-08-02 (intégrés produit). Per the Analytics Legends research ledger.
• Cadres — Responsible Scaling Policy d'Anthropic, Preparedness d'OpenAI, Frontier Safety Framework de DeepMind, NIST AI RMF 1.0, MITRE ATLAS, OWASP LLM Top 10.
• Suites d'évaluation — BBQ (biais), RealToxicityPrompts, HarmBench, DecodingTrust, ToxiGen ; compléter par des scénarios spécifiques au domaine.
• Périmètre spécifique SAP — injection de prompts par contenu récupéré, franchissement de tenant par outils Joule, taux de refus sur données sensibles, biais sur screening candidats, résistance jailbreak OWASP LLM-01.

Termes employés sur cette page

Red-teaming

Sondage adversarial structuré d'un système d'IA pour faire apparaître des comportements non sûrs, biaisés, propices aux fuites ou vulnérables au jailbreak avant le déploiement en production ; codifié par l'art. 9 de l'EU AI Act au titre de la gestion des risques des systèmes à haut risque.

Jailbreak

Motif de prompt adversarial qui contourne l'entraînement de sûreté d'un modèle ou les garde-fous de son prompt système, le poussant à produire du contenu qu'il refuserait normalement ; catalogué sous OWASP LLM-01 et suivi dans HarmBench.

Prompt injection

Attaque où un contenu hostile intégré dans un résultat d'outil, un document récupéré ou une entrée utilisateur réécrit les instructions effectives du modèle ; risque n°1 du Top 10 OWASP LLM dans les déploiements en production.

Responsible Scaling Policy (RSP)

Engagement volontaire d'Anthropic à définir des seuils d'AI Safety Level (ASL) et à imposer des barrières de red-team spécifiques, des contrôles de déploiement et des mesures de sécurité avant de franchir chaque seuil ; émulé par les cadres Preparedness d'OpenAI et Frontier Safety de DeepMind.

Decision owner

La personne responsable qui accepte l'arbitrage et finance l'action suivante.

Semantic contract

La définition partagée des termes métier, indicateurs, entités et règles d'accès utilisée par les outils et les équipes.

Control plane

La couche qui applique politique, accès, traçabilité (lineage), supervision et escalade à travers le modèle opérationnel.

Evidence grade

Une étiquette qui distingue le fait vérifié, le signal directionnel, l'hypothèse modélisée et l'observation de terrain.

Sources

1. Anthropic Responsible Scaling Policy
2. EU AI Act — Regulation (EU) 2024/1689, Art. 9 (risk management) + Art. 15 (accuracy, robustness, cybersecurity)
3. NIST AI Risk Management Framework 1.0
4. MITRE ATLAS — Adversarial Threat Landscape for AI Systems
5. OWASP Top 10 for Large Language Model Applications
6. SAP News Center — Accelerate the Autonomous Enterprise with SAP Business Data Cloud
7. SAP News Center — SAP Unveils the Autonomous Enterprise
8. SAP News Center — The Future of the Enterprise Is Autonomous
9. SAP Datasphere — Help Portal
10. SAP Datasphere — official product page
11. SAP Analytics Cloud — Help Portal
12. SAP Analytics Cloud — official product page
13. SAP BW/4HANA — Help Portal
14. SAP S/4HANA — Help Portal
15. SAP News Center
16. SAP Community
17. SAP — industries overview
18. EFRAG — CSRD/ESRS standards
19. Gartner — research & analyst site
20. BARC — BI & Analytics research
21. TDWI — data & analytics research
22. DSAG — German-speaking SAP user group
23. ASUG — Americas' SAP User Group
24. Databricks — official site