Konzeptkarte

Abwägung zwischen Latenz und Durchsatz — TTFT, TPOT, SLA-Design

Stand 2026-07-23

Redaktion: Cédric-Olivier Mâry, alleiniger Redakteur und verantwortlich für die Veröffentlichung — 27 Jahre im SAP-Ökosystem. Wie diese Seiten entstehen und wo Automatisierung eingesetzt wird.

Was ist Abwägung zwischen Latenz und Durchsatz — TTFT, TPOT, SLA-Design?

Chat, Code-Vervollständigung, Batch-Jobs und Sprachagenten benötigen jeweils ein anderes TTFT-/TPOT-Zielprofil — mischt man einen latenzempfindlichen Chat-Endpunkt mit einem durchsatzhungrigen Batch-Job, verschlechtert der Batch-Job garantiert das p99 des Chats.

Worum es geht

LLM-Serving hat drei orthogonale Leistungskennzahlen, die ein SLA getrennt adressieren muss. Time-To-First-Token (TTFT) misst die Wartezeit von der Einreichung der Anfrage bis zum ersten ausgegebenen Token — dominiert von der Prefill-Phase, in der das Modell den vollständigen Eingabe-Prompt in einem parallelen Durchgang verarbeitet. Time-Per-Output-Token (TPOT, auch als Inter-Token-Latenz, ITL, bezeichnet) misst den Abstand zwischen aufeinanderfolgenden ausgegebenen Tokens — dominiert von der Decode-Phase, in der das Modell pro Forward Pass ein Token erzeugt. Die End-to-End-Latenz ist TTFT + (Output-Tokens × TPOT). Durchsatz (Tokens/Sekunde, aggregiert über gleichzeitige Anfragen) ist die systemweite Kapazitätskennzahl.

Warum es zählt

Größere Continuous-Batches erhöhen den Durchsatz, aber auch die TTFT (neue Anfragen warten auf den nächsten Scheduling-Takt) und die TPOT (mehr Anfragen teilen sich pro Token denselben GPU-Takt) — der Trade-off lässt sich nicht beseitigen, nur verringern.
Konkrete SLA-Zielwerte unterscheiden sich je nach Workload: Chat will eine p95-TTFT unter 500 ms, Code-Vervollständigung unter 200 ms, Batch-Zusammenfassung ignoriert die TTFT vollständig, um die Batchgröße zu maximieren, Sprachagenten wollen eine TPOT unter 100 ms, tolerieren aber 500-800 ms TTFT.
Die Lösung des Architekten ist, Workloads auf separate Endpunkt-Stufen aufzuteilen, die auf dieselbe Modelldatei zeigen — einen latenzarmen Endpunkt mit kleinem Batch, einen durchsatzstarken Endpunkt mit großem Batch.

Kernpunkte

Drei orthogonale Kennzahlen: TTFT (prefill-gebunden), TPOT/ITL (decode-gebunden), Durchsatz (systemweite Tokens/Sekunde, aggregiert über gleichzeitige Anfragen).
End-to-End-Latenz = TTFT + (Output-Tokens × TPOT) — beide müssen in jedem LLM-SLA auftauchen.
Continuous Batching erhöht den Durchsatz, aber auch die TTFT (Anfragen warten auf den nächsten Scheduling-Takt) und die TPOT (Anfragen teilen sich den Takt); Paged Attention verringert den Trade-off, beseitigt ihn aber nicht.
Chat-Zielwert: p95-TTFT < 500 ms, TPOT 30-50 ms. Code-Vervollständigung: TTFT < 200 ms. Batch-Jobs: durchsatzorientiert, TTFT irrelevant. Sprachagenten: TPOT < 100 ms.
Workloads auf Endpunkt-Stufen aufteilen — latenzarm + kleiner Batch für Chat, durchsatzstark + großer Batch für Offline; niemals auf einem Endpunkt mischen.
Bei p50/p95/p99 benchmarken — Durchschnittswerte verdecken die Long-Tail-Latenz, die die Nutzererfahrung ruiniert.
Abwägung zwischen Latenz und Durchsatz — TTFT, TPOT, SLA-Design ist erst beherrscht, wenn es eine benannte Käuferentscheidung verändert.
Beginnen Sie mit dem semantischen Vertrag und dem Kontrollmodell, bevor Sie das Tool vorführen.
Nutzen Sie aktuelle SAP-, Analysten-, Studien-, KG- und News-Signale als Beleg, nicht als Dekoration.
Trennen Sie verifizierte Fakten von richtungsweisenden Trends und modellierten Annahmen.

Begriffe auf dieser Seite

TTFT: Time-To-First-Token — Zeit von der Einreichung der Anfrage bis zum ersten ausgegebenen Token; begrenzt durch die Prefill-Rechenlast über den gesamten Eingabe-Prompt.
TPOT / ITL: Time-Per-Output-Token oder Inter-Token-Latenz — Zeit zwischen aufeinanderfolgenden ausgegebenen Tokens während des Decodings; begrenzt durch die Speicherbandbreite bei der autoregressiven Generierung.
Continuous batching: Serving-Technik, bei der neue Anfragen bei jedem Decode-Schritt einem laufenden Batch beitreten, statt auf den Abschluss des Batches zu warten; Standard in vLLM, TensorRT-LLM, SGLang.
Paged attention: Speicherverwaltungstechnik, entlehnt aus dem virtuellen Speicher; der KV-Cache wird in Pages fester Größe gespeichert, um die Fragmentierung beim Servieren von Sequenzen variabler Länge zu verringern.
Entscheidungsverantwortlicher: Die verantwortliche Person, die den Trade-off akzeptiert und die nächste Maßnahme finanziert.
Semantischer Vertrag: Die gemeinsame Definition von Geschäftsbegriffen, Kennzahlen, Entitäten und Zugriffsregeln, die von Tools und Teams verwendet wird.
Kontrollebene: Die Ebene, die Richtlinien, Zugriff, Herkunftsnachweis (Lineage), Monitoring und Eskalation über das Betriebsmodell hinweg durchsetzt.
Evidenzgrad: Eine Kennzeichnung, die verifizierte Fakten, richtungsweisende Signale, modellierte Annahmen und Feldbeobachtungen voneinander unterscheidet.

Quellen

Vollständige Karte für Mitglieder. Was die vollständige Karte ergänzt: den vollständigen Entscheidungsrahmen · den Vergleich SAP · Snowflake · Databricks · Fabric · die häufigen Fallstricke und ihre Behebung · die Kurzreferenz · die Architekturschemata · die Codeblöcke.

In der App öffnen →