Inferenz-Ökonomie — Kosten, Latenz, Quantisierung, Distillation

Worum es geht

Inferenz-Ökonomie ist die Disziplin, LLMs mit den Kosten, der Latenz und dem Durchsatz zu betreiben, die Enterprise-Workloads dauerhaft tragen können. Für SAP-Praktiker bedeutet das: die Pro-1K-Token-Rechnung für das BTP-gehostete Joule zu verstehen, zu wissen, welche Optimierungshebel innerhalb der SAP-Vertrauensgrenze verfügbar sind, und einen Business Case für AI-Ausgaben aufzustellen, den CFOs genehmigen.

Die Kosten der Inferenz setzen sich aus drei Komponenten zusammen: Compute (GPU-Zeit pro Forward Pass), Speicherbandbreite (KV-Cache-Lese-/Schreibzugriffe) und I/O (Netzwerk + Storage). Bei gemanagten API-Preismodellen (OpenAI, Anthropic, SAP BTP Generative AI Hub) werden diese zu einem Preis pro Token gebündelt: Input-Token werden zu einem Satz abgerechnet, Output-Token zu einem höheren Satz (die Output-Generierung ist autoregressiv und damit rechenintensiv). Im SAP BTP Generative AI Hub wird der Modellverbrauch in AI-Core-Kapazitätseinheiten abgerechnet, nach der von SAP veröffentlichten Rate Card, je Modell und je Token-Richtung — nicht zum OpenAI-Listenpreis mit Reseller-Marge. Lesen Sie die aktuelle Rate Card und rechnen Sie die Kapazitätseinheiten mit Ihrem eigenen BTP-Vertrag um, bevor Sie einer Kundin einen Preis pro Token nennen. Ein Joule-Helpdesk-Assistent für S/4HANA mit 200.000 täglichen Sitzungen, 1K Input- + 500 Output-Token pro Sitzung = 200 Mio. Input- + 100 Mio. Output-Token pro Tag = etwa 1.000-7.000 US-Dollar pro Tag zu öffentlichen Anbieter-Listenpreisen (OpenAI/Anthropic, 2026) — eine Schätzung, kein SAP-Tarif; die BTP-Zahl ergibt sich aus Ihrer Umrechnung in Kapazitätseinheiten. Bei dieser Größenordnung spart jede 10-prozentige Token-Reduktion 36.000-252.000 US-Dollar pro Jahr — deshalb ist Prompt Engineering eine abrechenbare Beratungsleistung.

Warum es zählt

• Output-Token kosten das 3-4-Fache von Input-Token, weil die Generierung autoregressiv erfolgt — daher spart eine Kürzung der Output-Länge mehr als eine Kürzung des Inputs.
• Die TTFT skaliert mit der Input-Länge — ein 10K-Token-Prompt braucht bis zum ersten Token etwa 10× so lange wie ein 1K-Token-Prompt, was interaktive Joule-Assistenten mit einer Zielzeit unter 2 Sekunden unmöglich macht, sofern der Input nicht begrenzt und gestreamt wird.
• INT8-Quantisierung halbiert Compute und Speicher bei unter 1 % Qualitätsverlust, während INT4 das 4-Fache spart, aber 3-8 % Qualität kostet — geeignet für Zusammenfassungen, nicht für finanzielle Entscheidungsunterstützung.

Kernpunkte

• Inferenzkosten = Input-Token × Input-Satz + Output-Token × Output-Satz; der BTP Generative AI Hub rechnet den Modellverbrauch in AI-Core-Kapazitätseinheiten nach der von SAP veröffentlichten Rate Card ab — nennen Sie ihn aus dieser Rate Card und Ihrem BTP-Vertrag, nie aus dem öffentlichen Token-Preis eines Anbieters.
• Die Time-to-First-Token (TTFT) skaliert mit der Input-Länge; die Inter-Token-Latenz (ITL) ist pro Schritt annähernd konstant — interaktive Joule-Workflows müssen die Input-Länge begrenzen und Streaming aktivieren.
• INT8-Quantisierung: ~2-fache Reduktion von Speicher/Compute, < 1 % Qualitätsverlust — produktionstauglich für die meisten SAP-Aufgaben. INT4: ~4-fache Reduktion, 3-8 % Qualitätsverlust — nur für risikoarme Zusammenfassungen akzeptabel.
• Distillation trainiert ein kleines Student-Modell (7B) darauf, einen großen Teacher (GPT-4-Klasse) bei einer bestimmten Aufgabe nachzuahmen — 10-100-fache Reduktion der Inferenzkosten bei Erhalt von 70-90 % der aufgabenspezifischen Genauigkeit.
• Rechenbeispiel, kein SAP-Preis: Bei 200.000 täglichen SAP-Joule-Sitzungen (1K Input- + 500 Output-Token) ergeben öffentliche Anbieter-Listenpreise 1.000-7.000 US-Dollar pro Tag; eine 10-prozentige Token-Reduktion bedeutet 36.000-252.000 US-Dollar pro Jahr.
• Trade-off Batch vs. interaktiv: Bei nächtlichen SAP-Analytics-Batch-Jobs den Durchsatz maximieren (große Batch-Größe, INT8); bei interaktiven Joule-Assistenten die TTFT minimieren (kurze Inputs, Streaming, Prefix-Caching).

Begriffe auf dieser Seite

TTFT (Time-to-first-token)

Latenz von der Anfrageübermittlung bis zur Ausgabe des ersten Output-Tokens; dominiert durch den Prefill-Durchlauf über den gesamten Input-Kontext.

Quantisierung

Reduzierung der numerischen Präzision von Modellgewichten (z. B. FP16 → INT8 → INT4), um den Speicherbedarf und den Inferenz-Compute zu senken, bei kontrolliertem Qualitäts-Trade-off (Strategiedetails siehe C243).

Distillation

Training eines kleineren Student-Modells, um die Output-Verteilung eines größeren Teacher-Modells bei einer Zielaufgabe nachzuahmen; erzeugt ein aufgabenspezifisches Modell, das bei der Inferenz 10-100× günstiger ist, auf Kosten eines einmaligen Trainingslaufs.

Durchsatz

Anzahl der pro Sekunde generierten Token über alle gleichzeitigen Anfragen hinweg; wird durch große Batch-Größen und Quantisierung maximiert; die relevante Kennzahl für Batch-Analytics-Workloads.

AI-Core-Capacity-Unit

Die Einheit, in der SAP BTP Generative AI Hub den Modellverbrauch tatsächlich abrechnet, je Modell und je Token-Richtung, nach SAPs eigener veröffentlichter Preisliste — die aus dem BTP-Vertrag des Kunden umzurechnende Zahl, nie ein unverändert durchgereichter öffentlicher Token-Listenpreis eines Anbieters.

Bring Your Own Generative AI (BYOG)

Der dokumentierte Pfad von SAP AI Core zum Selbsthosten eines offenen oder maßgeschneidert quantisierten Modells (Ollama, LocalAI, llama.cpp, vLLM, maßgeschneiderter Hugging-Face-Transformers-Server) statt ein gehostetes Foundation-Modell über den Generative AI Hub zu konsumieren.

Rechengebunden vs. speichergebunden

Ob die Geschwindigkeit eines Workloads durch den arithmetischen Durchsatz des Beschleunigers begrenzt ist (rechengebunden, begünstigt Batching) oder dadurch, wie schnell Daten zwischen Speicherebenen bewegt werden können (speichergebunden, begünstigt FlashAttention-/KV-Cache-Techniken, siehe C214/C221).

Quellen

1. SAP BTP Generative AI Hub — pricing and service plans
2. Dettmers et al. — LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale (2022)
3. Hinton et al. — Distilling the Knowledge in a Neural Network (2015)
4. Kwon et al. — Efficient Memory Management for LLM Serving with PagedAttention (2023)
5. SAP Help Portal — Joule
6. Google Cloud — 101 real-world generative AI use cases
7. GitHub SAP-samples — btp-generative-ai-hub-use-cases: bring-your-own OSS LLM on SAP AI Core (Ollama, LocalAI, llama.cpp, vLLM, custom HF Transformers server; Standard/Extended plan required)
8. SAP Help Portal — Choose a Resource Plan for training/inference in SAP AI Core (GPU instance types incl. SAP Note 3660109)
9. SAP News Center — How SAP and NVIDIA Advance Enterprise AI Transformation (NIM inference optimisation, SAP-ABAP-1, 2026-03-17)
10. SAP — AI pricing and AI Units (product pricing page)
11. GitHub SAP-samples — btp-gen-ai-hub-sdk-samples: setting up the Extended AI Core service plan (the plan tier required for self-hosted BYOG serving)
12. SAP — Value of AI: Oxford Economics 2026 (report PDF, ROI benchmark context for a cost/benefit comparison)