Abwägung zwischen Latenz und Durchsatz — TTFT, TPOT, SLA-Design

Worum es geht

LLM-Serving hat drei orthogonale Leistungskennzahlen, die ein SLA getrennt adressieren muss. Time-To-First-Token (TTFT) misst die Wartezeit von der Einreichung der Anfrage bis zum ersten ausgegebenen Token — dominiert von der Prefill-Phase, in der das Modell den vollständigen Eingabe-Prompt in einem parallelen Durchgang verarbeitet. Time-Per-Output-Token (TPOT, auch als Inter-Token-Latenz, ITL, bezeichnet) misst den Abstand zwischen aufeinanderfolgenden ausgegebenen Tokens — dominiert von der Decode-Phase, in der das Modell pro Forward Pass ein Token erzeugt. Die End-to-End-Latenz ist TTFT + (Output-Tokens × TPOT). Durchsatz (Tokens/Sekunde, aggregiert über gleichzeitige Anfragen) ist die systemweite Kapazitätskennzahl.

Der zentrale Trade-off: Größere Continuous-Batches erhöhen den Durchsatz, indem sie die Speicherbandbreite während der Decode-Zeit über mehr parallele Anfragen amortisieren, aber sie erhöhen die TTFT für jede Anfrage, die einem bereits laufenden Batch beitritt (sie wartet auf den nächsten Scheduling-Takt), und sie erhöhen die TPOT (mehr Anfragen teilen sich pro Token denselben GPU-Takt). Kleinere Batches liefern bessere Latenz für einzelne Anfragen, verschwenden aber GPU-Rechenleistung, wenn der Traffic gering ist. Produktive Serving-Stacks (vLLM, TensorRT-LLM, SGLang) implementieren alle Continuous Batching mit Paged Attention, um den Trade-off zu verringern — aber sie können ihn nicht beseitigen.

Warum es zählt

• Größere Continuous-Batches erhöhen den Durchsatz, aber auch die TTFT (neue Anfragen warten auf den nächsten Scheduling-Takt) und die TPOT (mehr Anfragen teilen sich pro Token denselben GPU-Takt) — der Trade-off lässt sich nicht beseitigen, nur verringern.
• Konkrete SLA-Zielwerte unterscheiden sich je nach Workload: Chat will eine p95-TTFT unter 500 ms, Code-Vervollständigung unter 200 ms, Batch-Zusammenfassung ignoriert die TTFT vollständig, um die Batchgröße zu maximieren, Sprachagenten wollen eine TPOT unter 100 ms, tolerieren aber 500-800 ms TTFT.
• Die Lösung des Architekten ist, Workloads auf separate Endpunkt-Stufen aufzuteilen, die auf dieselbe Modelldatei zeigen — einen latenzarmen Endpunkt mit kleinem Batch, einen durchsatzstarken Endpunkt mit großem Batch.

Kernpunkte

• Drei orthogonale Kennzahlen: TTFT (prefill-gebunden), TPOT/ITL (decode-gebunden), Durchsatz (systemweite Tokens/Sekunde, aggregiert über gleichzeitige Anfragen).
• End-to-End-Latenz = TTFT + (Output-Tokens × TPOT) — beide müssen in jedem LLM-SLA auftauchen.
• Continuous Batching erhöht den Durchsatz, aber auch die TTFT (Anfragen warten auf den nächsten Scheduling-Takt) und die TPOT (Anfragen teilen sich den Takt); Paged Attention verringert den Trade-off, beseitigt ihn aber nicht.
• Chat-Zielwert: p95-TTFT < 500 ms, TPOT 30-50 ms. Code-Vervollständigung: TTFT < 200 ms. Batch-Jobs: durchsatzorientiert, TTFT irrelevant. Sprachagenten: TPOT < 100 ms.
• Workloads auf Endpunkt-Stufen aufteilen — latenzarm + kleiner Batch für Chat, durchsatzstark + großer Batch für Offline; niemals auf einem Endpunkt mischen.
• Bei p50/p95/p99 benchmarken — Durchschnittswerte verdecken die Long-Tail-Latenz, die die Nutzererfahrung ruiniert.

Begriffe auf dieser Seite

TTFT

Time-To-First-Token — Zeit von der Einreichung der Anfrage bis zum ersten ausgegebenen Token; begrenzt durch die Prefill-Rechenlast über den gesamten Eingabe-Prompt.

TPOT / ITL

Time-Per-Output-Token oder Inter-Token-Latenz — Zeit zwischen aufeinanderfolgenden ausgegebenen Tokens während des Decodings; begrenzt durch die Speicherbandbreite bei der autoregressiven Generierung.

Continuous batching

Serving-Technik, bei der neue Anfragen bei jedem Decode-Schritt einem laufenden Batch beitreten, statt auf den Abschluss des Batches zu warten; Standard in vLLM, TensorRT-LLM, SGLang.

Paged attention

Speicherverwaltungstechnik, entlehnt aus dem virtuellen Speicher; der KV-Cache wird in Pages fester Größe gespeichert, um die Fragmentierung beim Servieren von Sequenzen variabler Länge zu verringern.

Prefill

Die Rechenphase, in der das Modell den gesamten Eingabe-Prompt in einem einzigen parallelen Forward Pass verarbeitet, bevor es das erste Ausgabe-Token erzeugt; die Phase, die die TTFT bestimmt.

Decode

Die Rechenphase, in der das Modell Ausgabe-Tokens einzeln erzeugt, wobei jedes einen eigenen Forward Pass benötigt; die Phase, die die TPOT bestimmt, und die Phase, die Continuous Batching und PagedAttention primär optimieren.

Tail-Latenz (p95 / p99)

Die Latenz, die die langsamsten 5 % (p95) oder 1 % (p99) der Anfragen erfahren; die Kennzahl, die die für den Nutzer sichtbare Leistung unter Last tatsächlich widerspiegelt, da ein Durchschnitts- oder Medianwert gesund aussehen kann, während ein bedeutsamer Anteil der Anfragen inakzeptabel langsam ist.

Endpoint-Staffelung

Das Betreiben von zwei oder mehr getrennten Serving-Deployments derselben Modelldatei, jeweils konfiguriert (Max-Batch-Size, reservierte Kapazität) für ein anderes SLA — die Standardlösung für einen Workload, der interaktiven und Batch-Traffic mischt.

Quellen

1. NVIDIA — TensorRT-LLM Best Practices
2. MLPerf Inference — Latency Metrics Specification
3. Anyscale — LLM Serving Performance Deep Dive
4. vLLM Docs — Scheduler configuration reference
5. NVIDIA Triton Inference Server — TensorRT-LLM backend documentation
6. Microsoft Learn — Provisioned throughput units (PTU) for Azure OpenAI
7. Databricks Docs — Mosaic AI Model Serving
8. Snowflake Docs — Cortex Analyst
9. NVIDIA Developer Blog — Mastering LLM Techniques: Inference Optimization
10. Databricks Blog — LLM inference performance engineering: best practices
11. Anyscale Blog — Achieve 23x LLM Inference Throughput & Reduce p50 Latency (continuous batching)
12. Hugging Face Docs — Text Generation Inference (TGI)