SAP-KI-Qualitäts-Gates — Genauigkeit, Latenz, Kosten, Sicherheitsschwellen

Was ein Quality Gate ist — und was SAP liefert

Ein Quality Gate ist das Freigabekriterium, das eine probabilistische Funktion in etwas verwandelt, das ein fachlich Verantwortlicher unterschreiben kann: Diese Konfiguration aus Prompt, Modell, Grounding und Filtern erreicht auf unseren Fällen diese Qualität, antwortet in dieser Zeit, kostet so viel pro Aufruf und erzeugt diese Schäden nicht. SAP liefert kein Produkt namens „AI Quality Gates“ und veröffentlicht keine allgemeingültigen Schwellen; frühere Versionen dieser Karte nannten Genauigkeits-, Latenz- und Kostenziele, die keine SAP-Quelle stützt, und wurden bereinigt. Was SAP im Generative AI Hub tatsächlich liefert, ist der Messwerkzeugkasten.

Die Instrumente: Evaluations, Metriken, Optimierung

Evaluations „bietet Werkzeuge zum Benchmarking von Sprachmodellen und Prompts über Orchestration Configs“: Sie registrieren einen Testdatensatz in Ihrem Object Store als Artefakt, wählen Metriken und starten eine Execution, die eine oder mehrere Kombinationen aus Prompt und Modell bewertet — etwa gpt-4.1 gegen gpt-4o-mini mit demselben Template aus der Prompt Registry oder mehrere gespeicherte Orchestration Configs. Ergebnisse lassen sich über Läufe hinweg vergleichen, um Regressionen zu erkennen. Die Konfiguration nutzt das Executable genai-evaluations-simplified und Parameter wie Datensatzpfad, Metrik-IDs, das für Judge-Aufrufe verwendete Orchestrierungs-Deployment, optionales Variablen-Mapping und eine Anzahl Testzeilen.

Warum es zählt

• Ohne schriftliches Gate entscheidet über „gut genug“, wer zuletzt eine Demo zeigt — und später kann niemand sagen, warum eine Modellversion in Produktion durfte.
• Modell-Upgrades, Prompt-Versionen, Grounding-Änderungen und Fallbacks verändern das Verhalten; ein Gate, das nicht bei jeder Änderung wiederholt wird, zertifiziert ein System, das es nicht mehr gibt.
• SAP veröffentlicht Metriken und Werkzeuge, keine Schwellen: Zahlen aus Folien brechen zusammen, sobald ein Fachverantwortlicher nach ihrer Herkunft fragt.

Kernpunkte

• Quality Gates sind eine Release-Disziplin des Kunden; SAP liefert im Generative AI Hub Messwerkzeuge, keine Schwellen.
• Evaluations vergleichen Kombinationen aus Prompt + Modell oder gespeicherte Orchestration Configs auf Ihrem registrierten Datensatz (Executable genai-evaluations-simplified).
• Berechnete Metriken: BERT Score, BLEU, ROUGE, Exact Match, JSON Schema Match, Language Match, Content Filter on Input/Output.
• LLM-as-a-Judge-Metriken: Anweisungsbefolgung, Korrektheit, Antwortrelevanz, Prägnanz (1–5); RAG-Groundedness und Kontextrelevanz (1–3).
• SAP empfiehlt für Grounding Judge-Metriken statt berechneter Ähnlichkeit; Korrelation mit GPT-4.1 als Richter: 83,74 % / 87,07 %.
• Eigene LLM-as-a-Judge-Metriken per strukturiertem Prompt; die Prompt-Optimierung schreibt das beste Template in die Prompt Registry zurück.
• Latenz und Tokens aus den Metadaten der Inference Observability; Kosten aus GenAI-Token-Sätzen (SAP-Hinweis 3437766), umgerechnet in Capacity Units.
• Gate bei jeder Änderung an Modell, Prompt, Grounding, Filter oder Fallback wiederholen; danach Produktionsstichproben überwachen.

Begriffe auf dieser Seite

Quality Gate

Dokumentiertes Freigabekriterium mit Schwellen für Qualität, Latenz, Kosten und Sicherheit, das eine generative KI-Konfiguration erfüllen muss.

Evaluations

Funktion des Generative AI Hub, die Prompts und Modelle als Orchestration Configs auf einem registrierten Datensatz mit gewählten Metriken vergleicht.

Berechnete Metrik

Deterministischer Wert wie Exact Match, BLEU, ROUGE oder JSON Schema Match, oft mit Referenzantwort.

LLM-as-a-Judge

Metrik, die ein zweites LLM anhand eines Bewertungsrasters ermittelt, etwa Korrektheit oder RAG-Groundedness.

Groundedness

Ob jede Tatsachenbehauptung einer Antwort durch die bereitgestellten Kontextdokumente gestützt ist.

Kontextrelevanz

Wie gut der abgerufene Kontext zur Anfrage passt; misst den Retrieval-Schritt von RAG.

Eigene Metrik

Vom Nutzer definierte LLM-as-a-Judge-Metrik als strukturierter Prompt, mit Lebenszyklusverwaltung.

Prompt-Optimierung

Automatische Verbesserung eines Registry-Prompt-Templates anhand eines Datensatzes und einer Zielmetrik.

Quellen

1. SAP AI Core — Optimizations (SAP-docs)
2. SAP AI Core — Evaluations (SAP-docs)
3. SAP AI Core — System-Defined Evaluation Metrics (SAP-docs)
4. SAP AI Core — Validated Metrics (SAP-docs)
5. SAP AI Core — Create an Evaluation (SAP-docs)
6. SAP AI Core — Prompt Optimization (SAP-docs)
7. SAP AI Core — Inference Observability (SAP-docs)
8. SAP AI Core service guide — metering and typical consumption patterns (PDF, 4 Sep 2026)
9. EU AI Act — Article 15 (accuracy, robustness, cybersecurity)
10. European Commission — AI Omnibus enters into force (27 Jul 2026)
11. SAP News Center — the Operational Backbone of the Autonomous Enterprise: AI Agent Hub governance at scale (2026-09)
12. SAP News Center — Secure AI Agents: how SAP and NVIDIA co-define enterprise-grade agent execution (NVIDIA OpenShell, 2026-05-12)