LLM-Observability — Tracing, Token-Abrechnung, Halluzinationserkennung

LLM-Observability ist die Disziplin, für jeden Modellaufruf, den ein produktives System tätigt, zu sehen, was passiert ist, warum es passiert ist, was es gekostet hat und ob die Antwort tatsächlich richtig war. Konventionelles Application Performance Monitoring beantwortet die ersten beiden Fragen schlecht und die dritte und vierte gar nicht — es wurde für deterministische Codepfade gebaut, nicht für ein System, dessen Ausgabe von einem nahezu identischen Aufruf zum nächsten variiert. Eine neuere Generation zweckgebundener Plattformen ist speziell entstanden, um diese Lücke zu schließen, indem sie allgemeine Standards für verteiltes Tracing um Attribute erweitert, die für generative KI ausgelegt sind: welches Modell die Anfrage bediente, wie viele Input- und Output-Tokens es verbrauchte, was es kostete und wie lange es dauerte.

Die vier Flächen, auf die es ankommt

Verteiltes Tracing jedes Modellaufrufs ist die Grundlage. Jede Nutzeranfrage wird zu einem Baum verknüpfter Schritte — Nutzereingabe, etwaige Retrieval-Aufrufe, ein Reranking-Schritt, der Modellaufruf selbst, etwaige vom Modell ausgelöste Tool-Aufrufe und die endgültige Antwort —, erfasst als zusammenhängender Trace statt als eine Menge unzusammenhängender Log-Zeilen. Ohne diesen Trace ist das Debuggen einer falschen oder merkwürdigen Antwort in der Produktion nahezu Rätselraten, weil sich nicht erkennen lässt, welcher vorgelagerte Schritt die schlechte Eingabe tatsächlich erzeugt hat.

Warum es zählt

• Vier Flächen sind nicht verhandelbar: verteiltes Tracing des vollständigen Span-Baums (Input → Retriever → Reranker → Modell → Tools → Antwort), Token-Abrechnung pro Aufruf getaggt nach Mandant/Workflow/Modell, gesampelte Qualitätsbewertung und Halluzinations-/Groundedness-Erkennung.
• Die 2026er-OpenTelemetry-GenAI-Semantic-Convention-Spezifikation standardisiert Span-Attribute wie gen_ai.usage.input_tokens, übernommen von jedem ernstzunehmenden Observability-Anbieter (Langfuse, Arize Phoenix, LangSmith, Helicone).
• Groundedness-Scoring erkennt RAG-spezifische Fehler (tauchen die Behauptungen der Antwort im abgerufenen Kontext auf?), während Toxizitäts-/PII-/Jailbreak-Klassifikatoren Sicherheitsfehler erkennen — zwei getrennte Fehlerklassen, die zwei getrennte Prüfungen erfordern.

Kernpunkte

• OpenTelemetry-GenAI-Semantic-Conventions sind der Industriestandard 2026: `gen_ai.system`, `gen_ai.request.model`, `gen_ai.usage.input_tokens/output_tokens` usw.
• Verteiltes Tracing des vollständigen Request-Span-Baums (Input → Retriever → Reranker → Modell → Tools → Antwort) ist für das Debugging nicht verhandelbar.
• Token-Abrechnung pro Aufruf, getaggt mit Mandant + Workflow + Modell, ist das FinOps-Substrat (verwandtes Konzept C249).
• Qualitätsbewertung: 1-5 % des Produktions-Traffics sampeln, gegen LLM-as-Judge oder Golden-Dataset erneut ausführen, den Score verfolgen, bei Drift alarmieren.
• Halluzinationserkennung: Groundedness-Scoring für RAG; Toxizitäts-/PII-/Jailbreak-Klassifikatoren für Sicherheit; 100 % der Antworten mit niedriger Konfidenz sampeln.
• Anbieterlandschaft: Langfuse, Arize Phoenix, LangSmith, Weights & Biases Weave, Helicone — einen auswählen und über OTLP integrieren.

Begriffe auf dieser Seite

OpenTelemetry GenAI

Semantic-Convention-Erweiterung des OpenTelemetry-Standards, die Standard-Span-Attribute für generative-KI-Aufrufe definiert (Modell, Tokens, Kosten, Tools).

LLM-as-judge

Evaluationsmuster, bei dem ein separates LLM die Qualität der Ausgabe eines anderen LLM anhand einer Rubrik bewertet; günstiger als menschliche Prüfung, verrauschter als menschliche Prüfung.

Groundedness

RAG-spezifische Qualitätsmetrik: Tauchen die Behauptungen in der Antwort im abgerufenen Kontext auf? Niedrige Groundedness = Halluzination.

OTLP

OpenTelemetry Protocol — das Übertragungsprotokoll zum Senden von Traces/Metriken/Logs von instrumentierten Anwendungen an Collectors und Backends.

Span

Eine einzelne getrackte Operation innerhalb eines verteilten Trace-Baums — ein Retrieval-Aufruf, ein Reranking-Schritt oder ein Modellaufruf — mit Attributen wie Dauer, Token-Anzahl und Status; die Grundeinheit, die die OpenTelemetry-GenAI-Semantic-Conventions standardisieren.

Drift-Erkennung

Die Überwachung, ob sich die reale Ausgabequalität eines Modells oder einer Pipeline von seiner etablierten Baseline entfernt, typischerweise durch periodisches erneutes Ausführen einer Evaluation gegen einen Golden-Datensatz oder das Verfolgen eines LLM-as-Judge-Scores über die Zeit — die Praxis, die eine stille Qualitätsregression in einen Alarm verwandelt.

Konfidenzgewichtetes Sampling

Eine Evaluations-Sampling-Strategie, die alle oder nahezu alle Antworten eines Systems mit geringer Konfidenz vollständig prüft, während nur ein kleiner Prozentsatz des Traffics mit hoher Konfidenz gesampelt wird — konzentriert den Prüfaufwand dort, wo sich Halluzinationen und Fehler tatsächlich häufen, statt ihn gleichmäßig zu verteilen.

SAP AI Core Inference Observability

SAPs eigene benannte Fähigkeit zur Erfassung von Anfrage-/Antwortdaten pro Aufruf, Token-Nutzung und Latenz für über den Generative AI Hub getätigte Aufrufe, dokumentiert im AI-Core-Servicehandbuch von SAP — die SAP-native Antwort auf die Tracing- und Token-Buchhaltungsflächen dieser Karte, mit dem dokumentierten Hinweis, dass erfasste Payloads unmaskiert gespeichert werden.

Quellen

1. OpenTelemetry — Generative AI Semantic Conventions
2. Langfuse — LLM Observability Documentation
3. Arize Phoenix — Tracing and Evaluation
4. OpenTelemetry — Observability primer
5. NIST — AI Risk Management Framework knowledge base
6. SAP Help — Generative AI Hub overview
7. GitHub — open-telemetry/semantic-conventions-genai
8. OpenTelemetry — Gen AI attribute registry
9. OpenTelemetry Blog — Inside the LLM Call: GenAI Observability with OpenTelemetry (2026)
10. MLflow Docs — OpenTelemetry GenAI Semantic Conventions
11. OpenTelemetry — semantic-conventions-genai PR 498: Add gen_ai.skill.* attributes to the execute tool span (merged 29 Sep 2026)
12. OpenTelemetry — semantic-conventions-genai PR 270: Add gen_ai.main_agent entity (merged 30 Sep 2026)
13. OpenTelemetry — semantic-conventions-genai PR 520: Recommend the inference event be of severity level debug (merged 5 Oct 2026)
14. InfoWorld — Observability for AI-native systems: New SLIs beyond latency and error rate (30 Sep 2026, opinion)