Red-teaming IA pour SAP — Tests de prompts adversariaux

Ce qu'est le red-teaming, et à qui il revient

Le red-teaming d'IA est le pendant adversarial du test fonctionnel : au lieu de vérifier que le système fait ce qu'il doit, les testeurs cherchent à lui faire faire ce qu'il ne doit pas — divulguer des données, ignorer ses consignes, exécuter des actions non autorisées, produire des contenus nuisibles ou faux, ou faire exploser les coûts. SAP indique que Joule est éprouvé par une équipe interne de red-teaming d'IA et par des évaluateurs externes, et que chaque intégration de LLM externe fait l'objet d'une évaluation des risques et de benchmarks (SAP Community, 2025 et août 2026). Cela couvre le produit de SAP. Cela ne couvre pas ce que vous ajoutez : vos prompts et configurations d'orchestration, les documents ingérés pour le grounding, les outils que vos agents Joule Studio peuvent appeler, les seuils de filtrage que vous fixez et les rôles back-end dont Joule hérite par propagation du principal (C120). C'est la surface d'attaque du client, et donc le test du client.

Pourquoi c'est important

• L'injection de prompt indirecte arrive par les documents, les champs texte libre et les sorties d'outils, pas par la zone de dialogue — un plan de test qui se contente de taper dans Joule rate l'attaque la plus probable.
• Le red-teaming de Joule par SAP ne couvre ni vos prompts, ni vos référentiels de grounding, ni les outils de vos agents, ni vos rôles back-end ; cette surface d'attaque, c'est à vous de la tester.
• Des changements de plateforme comme l'arrêt de l'analyse des messages système par Prompt Shield (13 août 2026) peuvent retirer une défense en silence — seuls des tests rejoués le révèlent.

Points clés

• Red-teaming = test adversarial du système d'IA entier (prompts, récupération, outils, filtres, rôles), avant la mise en production et après chaque changement pertinent.
• SAP éprouve Joule (équipe interne de red-teaming d'IA + évaluateurs externes) ; les clients doivent tester leurs propres configurations et agents.
• AI Act : art. 15, § 5, résistance aux attaques propres à l'IA pour les systèmes à haut risque ; les tests adversariaux de l'art. 55, § 1, a, incombent aux fournisseurs de modèles à usage général à risque systémique.
• Omnibus numérique (en vigueur le 27 juillet 2026) : obligations à haut risque de l'annexe III à partir du 2 décembre 2027, annexe I à partir du 2 août 2028.
• Taxonomie : OWASP Top 10 for LLM Applications 2025 — injection de prompt, divulgation d'informations sensibles, autonomie excessive, fuite du prompt système, faiblesses vectorielles, consommation non bornée…
• Vecteurs propres à SAP : documents ingérés par le grounding, champs texte libre lus par les outils des agents, rôles back-end trop larges hérités par propagation du principal.
• Automatiser avec Evaluations du generative AI hub : jeu adversarial + métriques Content Filter on Input/Output + métrique de juge sur mesure pour le comportement sûr attendu.
• Déclencheurs de nouveau test : montée ou obsolescence de modèle, changement de filtres (Prompt Shield 13 août 2026), nouveaux outils, référentiels ou groupes d'utilisateurs.

Termes employés sur cette page

Red-teaming d'IA

Test adversarial structuré qui cherche à faire enfreindre à un système d'IA son comportement prévu, sa sécurité ou ses règles.

Injection de prompt directe

L'entrée d'un utilisateur ordonne au modèle d'ignorer ou de contourner ses instructions.

Injection de prompt indirecte

Instructions malveillantes logées dans un contenu que le système récupère ou lit — documents, enregistrements, sorties d'outils — plutôt que saisies par l'utilisateur.

Autonomie excessive

OWASP LLM06 : système à base de LLM doté de plus de fonctions, de droits ou d'autonomie que son objet ne l'exige.

Fuite du prompt système

OWASP LLM07 : divulgation des instructions système, qui peuvent contenir règles, références ou secrets.

Faiblesses des vecteurs et embeddings

OWASP LLM08 : risques liés à des contenus empoisonnés, périmés ou trop partagés dans les stores de récupération.

Consommation non bornée

OWASP LLM10 : requêtes ou boucles qui épuisent capacité, limites de débit ou budget.

Comportement sûr attendu

La réponse qu'un cas de test adversarial doit produire (refus, réponse limitée au contexte, demande de confirmation), servant de référence de notation.

Sources

1. OWASP Top 10 for LLM Applications 2025
2. EU AI Act — Article 15 (accuracy, robustness, cybersecurity)
3. EU AI Act — Article 55 (obligations for GPAI models with systemic risk)
4. European Commission — AI Omnibus enters into force (27 Jul 2026)
5. SAP Community — Trust by Design: Security, Guardrails & Governance in Joule (Aug 2026)
6. SAP Community (SAP) — Principles to Practice: Securing SAP Business AI
7. SAP AI Core — Content Filtering (SAP-docs)
8. SAP AI Core — System-Defined Evaluation Metrics (SAP-docs)
9. SAP AI Core service guide incl. What's New and usage restriction (PDF, 4 Sep 2026)
10. Integrating Joule with SAP Solutions — document grounding caveats (PDF, 14 Sep 2026)
11. SAP News Center — AI agents work at scale: AI Governance Assistant, EU AI Act + NIST classification (22 Sep 2026)
12. MLflow — LLM evaluation documentation
13. Microsoft / Azure — PyRIT, Python Risk Identification Tool for generative AI (GitHub)