Konzeptkarte

KI-Red-Teaming für SAP — Adversariales Prompt-Testing

Stand 6. Oktober 2026

Redaktion: Cédric Mary, alleiniger Redakteur und verantwortlich für die Veröffentlichung — 27 Jahre im SAP-Ökosystem. Wie diese Seiten entstehen und wo Automatisierung eingesetzt wird.

Was ist KI-Red-Teaming für SAP?

KI-Red-Teaming ist strukturiertes adversariales Testen eines KI-Systems vor und nach dem Go-live. SAP testet Joule selbst; testen müssen Sie Ihre Konfiguration — Prompts, Grounding-Quellen, Agenten-Tools, Filter und Backend-Rollen. Nutzen Sie die OWASP Top 10 for LLM Applications (2025) als Angriffstaxonomie und den Evaluierungsservice des Generative AI Hub, um Tests zu automatisieren und zu wiederholen.

Was Red-Teaming ist und wessen Aufgabe es ist

KI-Red-Teaming ist das adversariale Gegenstück zum Funktionstest: Statt zu prüfen, ob das System tut, was es soll, versuchen Tester, es zu etwas zu bringen, was es nicht darf — Daten preisgeben, Anweisungen ignorieren, unberechtigte Aktionen ausführen, schädliche oder falsche Inhalte erzeugen oder Kosten in die Höhe treiben. SAP gibt an, dass Joule von einem internen SAP-AI-Red-Team und externen Prüfern getestet wird und jede externe LLM-Integration eine Risikobewertung und Benchmarks durchläuft (SAP Community, 2025 und August 2026). Das deckt SAPs Produkt ab. Es deckt nicht ab, was Sie hinzufügen: Ihre Prompts und Orchestration Configs, die für Grounding aufgenommenen Dokumente, die Tools, die Ihre Joule-Studio-Agenten aufrufen dürfen, die von Ihnen gesetzten Filterschwellen und die Backend-Rollen, die Joule per Principal Propagation erbt (C120). Das ist die Angriffsfläche des Kunden — und damit sein Test.

Warum es zählt

Indirekte Prompt Injection kommt über Dokumente, Freitextfelder und Tool-Ausgaben, nicht über das Chatfenster — ein Testplan, der nur in Joule tippt, verfehlt den wahrscheinlichsten Angriff.
SAPs Red-Teaming von Joule deckt weder Ihre Prompts noch Ihre Grounding-Repositorys, Agenten-Tools oder Backend-Rollen ab; diese Angriffsfläche müssen Sie selbst testen.
Plattformänderungen wie der Wegfall der Prüfung von System-Nachrichten durch Prompt Shield (13. August 2026) können eine Abwehr unbemerkt entfernen — nur wiederholte Tests zeigen das.

Kernpunkte

Red-Teaming = adversariales Testen des gesamten KI-Systems (Prompts, Retrieval, Tools, Filter, Rollen), vor dem Go-live und nach jeder relevanten Änderung.
SAP testet Joule (internes SAP-AI-Red-Team + externe Prüfer); Kunden müssen ihre eigenen Konfigurationen und Agenten testen.
AI Act: Art. 15 Abs. 5 Widerstandsfähigkeit gegen KI-spezifische Angriffe für Hochrisikosysteme; adversariale Tests nach Art. 55 Abs. 1 Buchst. a sind Pflicht der GPAI-Anbieter mit systemischem Risiko.
Digital Omnibus (in Kraft seit 27. Juli 2026): Hochrisikopflichten nach Anhang III ab 2. Dezember 2027, nach Anhang I ab 2. August 2028.
Taxonomie: OWASP Top 10 for LLM Applications 2025 — Prompt Injection, Offenlegung sensibler Informationen, übermäßige Handlungsbefugnis, System-Prompt-Leakage, Vektor-Schwächen, unbegrenzter Verbrauch …
SAP-spezifische Vektoren: vom Grounding aufgenommene Dokumente, von Agenten-Tools gelesene Freitextfelder, zu weite Backend-Rollen, per Principal Propagation geerbt.
Automatisieren mit Evaluations im Generative AI Hub: adversarialer Datensatz + Metriken Content Filter on Input/Output + eigene Judge-Metrik für das erwartete sichere Verhalten.
Auslöser für neue Tests: Modell-Upgrade oder -Abkündigung, Filteränderungen (Prompt Shield 13. Aug. 2026), neue Tools, Repositorys oder Nutzergruppen.

Begriffe auf dieser Seite

KI-Red-Teaming: Strukturiertes adversariales Testen, das ein KI-System dazu bringen will, gegen sein vorgesehenes Verhalten, seine Sicherheit oder Richtlinien zu verstoßen.
Direkte Prompt Injection: Die Eingabe eines Nutzers weist das Modell an, seine Anweisungen zu ignorieren oder zu übersteuern.
Indirekte Prompt Injection: Schädliche Anweisungen in Inhalten, die das System abruft oder liest — Dokumente, Datensätze, Tool-Ausgaben —, statt vom Nutzer eingegeben.
Übermäßige Handlungsbefugnis: OWASP LLM06: ein LLM-basiertes System mit mehr Funktionen, Rechten oder Autonomie, als sein Zweck erfordert.
System-Prompt-Leakage: OWASP LLM07: Offenlegung von System-Anweisungen, die Regeln, Verweise oder Geheimnisse enthalten können.
Schwächen bei Vektoren und Embeddings: OWASP LLM08: Risiken durch vergiftete, veraltete oder zu breit geteilte Inhalte in Retrieval-Speichern.
Unbegrenzter Verbrauch: OWASP LLM10: Anfragen oder Schleifen, die Kapazität, Rate Limits oder Budget erschöpfen.
Erwartetes sicheres Verhalten: Die Antwort, die ein adversarialer Testfall erzeugen soll (Ablehnung, Antwort nur aus dem Kontext, Rückfrage zur Bestätigung), als Bewertungsreferenz.

Quellen

Vollständige Karte für Mitglieder. Was die vollständige Karte ergänzt: den vollständigen Entscheidungsrahmen · den Vergleich SAP · Snowflake · Databricks · Fabric · die häufigen Fallstricke und ihre Behebung · die Kurzreferenz · die Architekturschemata · die Codeblöcke · die zitierfähigen Kennzahlen.

In der App öffnen →

Offene SAP-Projekte

Aktuelle SAP-Analytics-Projekte und Stellen im DACH-Raum: SAP-Analytics-Projekte im DACH-Raum.