KI-Red-Teaming und Sicherheitsevaluation — adversariale Prompts, Jailbreaks, Schadensevaluation

Worum es geht

AI Red-Teaming ist die strukturierte adversariale Prüfung eines Modells und seines eingesetzten Systems, um unsicheres, verzerrtes, leck-anfälliges oder jailbreak-anfälliges Verhalten AUFZUDECKEN, BEVOR es in Produktion geht. 2026 ist das keine akademische Kuriosität mehr — unter Art. 9 (Risikomanagement) und Art. 15 (Genauigkeit, Robustheit, Cybersicherheit) des EU-AI-Acts müssen Anbieter von Hochrisikosystemen Red-Team-Abdeckung nachweisen; der Dokumentationsaufwand nach Art. 9-49 beträgt gemäß der in der Analytics-Legends-Research-Ledger zitierten Münchner Applied-AI-Studie 200-800 Personentage pro Hochrisikosystem.

Eine Red-Team-Kampagne umfasst vier Arbeitsstränge. Capability Probing deckt auf, wozu das Modell fähig ist — einschließlich Fähigkeiten, die der Anbieter nicht beabsichtigt hat (Exploit-Code schreiben, Biothreat-Anweisungen synthetisieren, CSAM erzeugen). Prompt-Injection- und Jailbreak-Probing testet, ob System-Prompts, Grenzen abgerufenen Kontexts und Tool-Nutzungs-Schutzmaßnahmen durch feindliche Nutzereingaben umgangen werden können. Bias- und Schadensevaluation führt Szenario-Suiten (BBQ, RealToxicityPrompts, HarmBench, DecodingTrust) aus und deckt ungleiche Leistung über demografische Achsen hinweg auf. Missbrauchsevaluation prüft spezifische Hochrisiko-Verwendungen (Wahlmanipulation, Betrug, gezielte Belästigung) und dokumentiert Ablehnungsrate plus verbleibende Leckrate.

Die kanonische Methodik ist inzwischen kodifiziert. Anthropics Responsible Scaling Policy verpflichtet zu Red-Team-Gates bei definierten Fähigkeitsschwellen; OpenAIs Preparedness Framework und DeepMinds Frontier Safety Framework folgen ähnlicher Struktur. Die Funktionen Govern-Map-Measure-Manage des NIST AI RMF bilden sich direkt auf den Red-Team-Workflow ab. Die MITRE-ATLAS-Wissensbasis katalogisiert adversariale Taktiken und Techniken. Die OWASP-LLM-Top-10 zählt die Produktivrisiken auf.

Warum es zählt

• Die Kosten sind quantifiziert, nicht abstrakt: Die zitierte Münchner Applied-AI-Studie beziffert den Dokumentationsaufwand nach Art. 9-49 auf 200-800 Personentage pro Hochrisikosystem.
• Die Methodik ist bereits über Labore hinweg kodifiziert (Anthropics RSP, OpenAIs Preparedness Framework, DeepMinds Frontier Safety Framework) und über Standardgremien (NIST AI RMF, MITRE ATLAS, OWASP LLM Top 10) — das ist nicht ad hoc.
• Speziell für SAP nennt der minimale Red-Team-Umfang fünf konkrete Prüfungen: Prompt-Injection über Grenzen abgerufener Inhalte, Joule-Tool-Nutzungs-Datenlecks über Mandanten hinweg, Ablehnungsrate bei HR-/Payroll-Anfragen, Bias bei Kandidaten-Screening-Ausgaben und OWASP-LLM-01-Jailbreak-Resistenz.

Kernpunkte

• Vier Arbeitsstränge — Capability Probing, Prompt-Injection/Jailbreak, Bias- und Schadensevaluation, Missbrauchsevaluation; jeweils im Risikoregister nach Art. 9 dokumentiert.
• Pflichten des EU AI Act — Art. 9 (Risikomanagement) + Art. 15 (Genauigkeit, Robustheit, Cybersicherheit) verlangen nachgewiesene Red-Team-Abdeckung für Hochrisikosysteme bis 2027-12-02 (Digital-Omnibus, in Kraft seit 2026-07-27) (Anhang III) / 2028-08-02 (produktintegriert). Laut Analytics-Legends-Research-Ledger.
• Frameworks — Anthropics Responsible Scaling Policy, OpenAIs Preparedness, DeepMinds Frontier Safety Framework, NIST AI RMF 1.0, MITRE ATLAS, OWASP LLM Top 10.
• Evaluierungs-Suiten — BBQ (Bias), RealToxicityPrompts, HarmBench, DecodingTrust, ToxiGen; durch domänenspezifische Szenarien ergänzen.
• SAP-spezifischer Umfang — Prompt-Injection über abgerufene Inhalte, mandantengrenzüberschreitende Joule-Tool-Nutzung, Ablehnungsrate bei sensiblen Daten, Bias beim Kandidaten-Screening, Jailbreak-Resistenz nach OWASP LLM-01.
• Tabellarische Foundation Models (SAP-RPT-1.6, TabPFN-3.5-Plus, beide aktuell im September 2026) brauchen bei der Bewertung oder dem Ranking von Personen statistische Tests auf demografische Parität/disparate Auswirkung, keine textbasierten Bias-Suiten.

Begriffe auf dieser Seite

Red-Teaming

Strukturierte adversariale Prüfung eines KI-Systems, um unsicheres, verzerrtes, leck-anfälliges oder jailbreak-anfälliges Verhalten vor dem Produktiveinsatz aufzudecken; nach Art. 9 EU AI Act für Hochrisikosysteme im Risikomanagement kodifiziert.

Jailbreak

Adversariales Prompt-Muster, das das Sicherheitstraining eines Modells oder die Guardrails des System-Prompts umgeht und es zur Erzeugung von Inhalten bringt, die es normalerweise verweigern würde; katalogisiert nach OWASP LLM-01 und in HarmBench verfolgt.

Prompt-Injection

Angriff, bei dem feindlicher, in ein Tool-Ergebnis, ein abgerufenes Dokument oder eine Nutzereingabe eingebetteter Inhalt die effektiven Anweisungen des Modells umschreibt; Risiko Nr. 1 des OWASP LLM Top 10 in Produktivumgebungen.

Responsible Scaling Policy (RSP)

Anthropics freiwillige Selbstverpflichtung, KI-Sicherheitsstufen (ASL) zu definieren und vor Überschreiten jeder Schwelle bestimmte Red-Team-Gates, Deployment-Kontrollen und Sicherheitsmaßnahmen zu verlangen; nachgeahmt von OpenAIs Preparedness- und DeepMinds Frontier-Safety-Frameworks.

Demografische Parität / disparate Auswirkung

Statistische Fairness-Tests, die die Rate positiver Ergebnisse eines Modells über geschützte Gruppen hinweg vergleichen; die geeignete Bias-Evaluierungsmethode für ein tabellarisches Scoring-Modell, anders als textbasierte Bias-Suiten wie BBQ.

NIST AI RMF (Govern-Map-Measure-Manage)

Die Vier-Funktionen-Struktur des NIST für KI-Risikomanagement; ein Inventar-/Klassifizierungswerkzeug wie SAPs AI Agent Hub deckt Govern/Map ab, während Measure echte Red-Team- oder Evaluierungsnachweise erfordert.

MITRE ATLAS

Eine Wissensdatenbank adversarialer Taktiken und Techniken gegen KI-Systeme, strukturiert nach demselben Modell wie das MITRE-ATT&CK-Framework für klassische Cybersicherheit.

Quellen

1. Anthropic Responsible Scaling Policy
2. EU AI Act — Regulation (EU) 2024/1689, Art. 9 (risk management) + Art. 15 (accuracy, robustness, cybersecurity)
3. NIST AI Risk Management Framework 1.0
4. OWASP Top 10 for Large Language Model Applications
5. SAP Community — SAP-RPT-1.6, Tabular Orchestration and RPT Playground API now available (Sep 2026)
6. SAP News Center — TabPFN-3.5-Plus now available in SAP AI Core (15 Sep 2026)
7. Prior Labs — TabPFN 3.5 changelog
8. MLflow — LLM/model evaluation documentation (custom fairness metrics pattern)
9. Microsoft — Responsible AI Standard
10. Microsoft / Azure — PyRIT, Python Risk Identification Tool for generative AI (GitHub)
11. SAP News Center — AI agents work at scale: AI Governance Assistant, EU AI Act + NIST classification (22 Sep 2026)
12. NIST — AI 600-1 Generative AI Profile (risk categories and red-teaming actions for generative AI)
13. EU AI Act — Article 55, obligations for providers of general-purpose AI models with systemic risk (documented adversarial testing)
14. Mazeika et al. — HarmBench: a standardized evaluation framework for automated red teaming and robust refusal (arXiv 2402.04249)
15. NVIDIA — garak, LLM vulnerability scanner (probe catalogue for jailbreaks, prompt injection, leakage)