Red-teaming de l'IA pour SAP — Joule, AI Core et agents
À jour au 2026-10-04
Le red-teaming d'une fonctionnalité d'IA SAP est un test de système, pas un jeu de prompts : on attaque l'assemblage — modèle de prompt, corpus d'ancrage, outils et serveurs MCP, propagation d'identité, plafonds de consommation, journalisation — et pas seulement les refus du modèle. On rattache le catalogue au Top 10 OWASP des applications LLM (2025) et au Top 10 OWASP des applications agentiques (décembre 2025), on teste les contrôles SAP sur lesquels on s'appuie (filtres de contenu de l'orchestration avec prompt shield et Llama Guard 3, masquage des données, propagation du principal, AI Agent Hub, observabilité de l'inférence) au lieu de les supposer actifs, on joue chaque attaque avec un utilisateur habilité et un utilisateur non habilité, et chaque constat devient un test de non-régression déclenché par tout changement de modèle de prompt, de modèle, de corpus ou d'outil. Les recommandations des Five Eyes de mai 2026 sur l'IA agentique et l'article 15 de l'AI Act font de ces preuves une attente, plus une option.
Ce que vous apprendrez
- Rattacher une fonctionnalité d'IA SAP au Top 10 OWASP des applications LLM 2025, au Top 10 OWASP des applications agentiques et à sept surfaces propres à SAP, et en dériver un catalogue à partir d'énoncés de préjudice
- Tester — et non supposer — les contrôles SAP en jeu : filtres d'entrée/sortie de l'orchestration (Azure AI Content Safety avec prompt shield, Llama Guard 3), masquage des données, propagation du principal, AI Agent Hub, observabilité de l'inférence
- Conduire un protocole de red-teaming à deux identités avec notation en trois états et gravité rattachée aux énoncés de préjudice
- Transformer les constats en suite de non-régression déclenchée par événement, avec porte de mise en production et voie d'exception signée
Aperçu du module
Le red-teaming consiste à tester une fonctionnalité d'IA de manière adverse, avant que de vrais utilisateurs — ou de vrais attaquants — n'en découvrent les défaillances. Pour un projet d'IA SAP, la question utile n'est pas « quelqu'un pourrait-il casser le modèle ? », mais « quelle conséquence métier produit la défaillance la plus probable de cet assemblage, et avons-nous démontré que le pire cas réaliste est acceptable ? ». Une compétence Joule, un agent Joule Studio ou une application construite sur le generative AI hub de SAP AI Core est une chaîne : un modèle de prompt, un modèle d'IA, un corpus d'ancrage, des outils et des API, une identité sous laquelle s'exécutent les appels, un budget et des journaux. La plupart des constats graves se situent aux jointures.
Prérequis
- Expérience pratique intermédiaire sur des projets SAP d'IA ou d'analytique
- Revoir d'abord les concepts clés : C130, C261, C120
Acquis
- Expliquer à un RSSI pourquoi le red-teaming vise l'assemblage (prompt, ancrage, outils, identité, budget, journaux) et pas seulement le modèle
- Concevoir des attaques d'injection indirecte via un corpus d'ancrage et de contournement des autorisations sur le chemin back-end d'une compétence
- Spécifier les tests propres aux agents : périmètre des outils, confirmation des actions irréversibles, messages A2A/MCP non fiables, plafonds de boucle et de coût
- Citer avec exactitude les attentes externes : articles 15 et 55 de l'AI Act, recommandations Five Eyes du 1er mai 2026, listes OWASP et MITRE ATLAS
Module complet réservé aux abonnés. Le module complet ajoute : le cadre de décision · le cas guidé de bout en bout · la grille de KPI · les anti-patterns · les blocs de code · le contrôle de connaissances · les schémas.