KI-Observability in SAP AI Core — Token-Verbrauch, Halluzination, Drift

Was KI-Observability hier bedeutet

KI-Observability ist die fortlaufende Messung, wie sich ein generatives KI-System im Produktivbetrieb verhält — nicht in einer Demo, sondern auf echtem Verkehr. Drei Fragen zählen: Wie viele Tokens verbraucht jeder Aufruf (Kosten), sind die Antworten durch die Daten gedeckt, die das Modell erhalten hat (Halluzination), und verschiebt sich die Qualität im Lauf der Zeit, wenn sich Prompts, Grounding-Quellen oder Modellversionen ändern (Drift). Zur Governance-Anforderung wird das Thema durch die Lautlosigkeit des Fehlers: Ein kaputter Bericht wirft einen Fehler, ein halluzinierender Assistent liefert eine selbstsichere, sauber formatierte falsche Antwort.

Frühere Fassungen dieser Karte schrieben die Token-Messung einem „AI Core Model Gateway“ zu. Eine Komponente dieses Namens liefert SAP nicht aus. In SAP AI Core sind die Instrumente der Orchestrierungsservice und die harmonisierte API des Generative AI Hub (die bei jeder Antwort den Token-Verbrauch zurückgeben), die Inference Observability (allgemein verfügbar seit 8. Mai 2026), der Evaluierungsservice mit seinen systemdefinierten Metriken sowie die Nutzungs- und Budgetwerkzeuge von BTP. Die Modellaufrufe von Joule selbst laufen unter SAP-Verwaltung und sind in Ihrem Tenant nicht beobachtbar; das Folgende gilt für das, was Sie auf dem Generative AI Hub bauen.

Warum es zählt

• Ein halluzinierender Assistent scheitert lautlos: Ohne aufgezeichnete Inferenzen und Groundedness-Bewertung entdecken Nutzer einen systematischen Fehler, indem sie danach handeln — nicht das Team.
• In SAP AI Core wird standardmäßig nichts aufgezeichnet — weder das Audit-Log noch die Inference Observability erfassen Prompts, wenn die Anfrage-Header es nicht verlangen.
• Die Protokollierungspflichten des AI Act für Hochrisikosysteme (Art. 12, Art. 26 Abs. 6) gelten für Systeme nach Anhang III ab dem 2. Dezember 2027; die Nachweiskette muss entworfen, nicht nachgerüstet werden.

Kernpunkte

• Kein „Model Gateway“: Token-Zahlen stammen aus dem usage-Objekt (prompt_tokens, completion_tokens, total_tokens) jeder Antwort der Orchestrierung und der harmonisierten API.
• Die Inference Observability (allgemein verfügbar seit 8. Mai 2026, Cloud Foundry, nicht Sovereign Cloud) zeichnet nur Anfragen auf, die mit ai-inference-observability-persistence-mode = metadata oder full gekennzeichnet sind.
• Modus „metadata“: Modellname und -version, Eingabe-/Ausgabe-Tokens, Latenz, bis zu 16 Labels ext.ai.sap.com — ohne Object Store. Modus „full“ ergänzt Anfrage, Antwort und Feedback in einem S3-Store.
• Nutzlasten werden unmaskiert und unbereinigt gespeichert: Einwilligung für personenbezogene Daten und injection-sichere Verarbeitung sind Kundensache; das Löschen der Metadaten bereinigt S3 nicht.
• Halluzination: Evaluierungsservice (genai-evaluation) mit Pointwise RAG Groundedness (1–3), Context Relevance (1–3) und Correctness (1–5) als LLM-as-a-Judge-Metriken.
• SAP stufte berechnete Metriken (BERTScore, BLEU, Kosinus-Ähnlichkeit) für die Grounding-Bewertung schwächer ein als LLM-as-a-Judge — Schwellenwerte werden auf Ihren eigenen Daten kalibriert.
• Drift: model.version fixieren, Abkündigungen im SAP-Hinweis 3437766 verfolgen, intermediate_failures der Fallbacks überwachen, bei jeder Änderung einen Golden-Datensatz erneut laufen lassen.
• Das Audit-Log von AI Core enthält Verwaltungsereignisse, keine Prompts; regulatorische Nachweise erfordern die Aufzeichnung im Modus „full“ oder eigene Protokolle.

Begriffe auf dieser Seite

Inference Observability

Funktion des Generative AI Hub (allgemein verfügbar seit 8. Mai 2026), die gekennzeichnete Inferenzen an Orchestrierung oder Foundation-Modelle als Metadaten oder vollständige Nutzlast mit Labels und Feedback aufzeichnet.

Persistenzmodus

Wert des Headers ai-inference-observability-persistence-mode: metadata (Modell, Tokens, Latenz) oder full (zusätzlich Anfrage, Antwort und Feedback in S3).

Inferenzdatensatz

Gespeichertes Ergebnis einer aufgezeichneten Inferenz, abrufbar per Inferenz-ID oder Label-Selektor; das Löschen seiner Daten entfernt Metadaten und Labels, nicht die S3-Nutzlasten.

LLM-as-a-Judge-Metrik

Evaluierungsmetrik, die ein Sprachmodell vergibt, etwa Pointwise RAG Groundedness, Context Relevance oder Correctness im Evaluierungsservice.

Groundedness

Grad, in dem eine Antwort durch den dem Modell bereitgestellten Kontext gedeckt ist; das wichtigste Halluzinationssignal bei RAG.

Drift

Veränderung der Antwortqualität über die Zeit durch Änderungen an Prompts, Grounding-Quellen oder Modellen, erkannt durch erneutes Ausführen eines festen Evaluierungsdatensatzes.

intermediate_failures

Feld der Orchestrierungsantwort, das angibt, warum bevorzugte Konfigurationen übersprungen wurden — die Spur eines Fallbacks.

Quellen

1. SAP AI Core — Inference Observability (SAP-docs)
2. SAP AI Core — Record an Inference in Inference Observability (SAP-docs)
3. SAP AI Core — Retrieving an Inference Record (SAP-docs)
4. SAP AI Core — Deleting Inference Record Data (SAP-docs)
5. SAP AI Core — System-Defined Evaluation Metrics (SAP-docs)
6. SAP AI Core — Computed Metrics vs LLM-as-a-Judge Metrics (SAP-docs)
7. SAP AI Core — Orchestration Workflow V2 (usage object, SAP-docs)
8. SAP AI Core — What's New (inference observability GA, SAP-docs)
9. SAP AI Core service guide — metering incl. inference observability (PDF, 4 Sep 2026)
10. EU AI Act — Regulation (EU) 2024/1689 (EUR-Lex)
11. OWASP — Top 10 for LLM Applications 2025 (LLM10 Unbounded Consumption, LLM09 Misinformation)
12. NIST — AI Risk Management Framework 1.0 (Govern, Map, Measure, Manage; 26 Jan 2023)
13. OpenTelemetry — Semantic conventions for generative AI (spans, metrics, events)