Speculative Decoding — wie Claude, GPT-4 und Llama 3 eine TTFT unter 100 ms erreichen

Worum es geht

Autoregressive Generierung ist per Definition sequenziell — Token n+1 hängt von Token n ab. Auf moderner GPU-Hardware ist diese sequenzielle Abhängigkeit, nicht die rohe Rechenleistung, der Engpass: Ein 70B-Modell benötigt unabhängig von der Batch-Größe rund 30 ms pro Token, weil jeder Schritt auf Speicherzugriffe wartet, nicht auf Arithmetik. Speculative Decoding durchbricht die sequenzielle Beschränkung, indem ein kleines, schnelles Draft-Modell k Kandidaten-Tokens vorschlägt, die dann alle gemeinsam mit dem großen Zielmodell in einem einzigen parallelen Forward-Pass verifiziert werden. Stimmt das Draft-Modell mit dem Zielmodell bei j von k Tokens überein, rückt das System pro Zielmodell-Schritt j+1 Tokens vor (die j akzeptierten plus eine Korrektur) statt nur eines — eine 2- bis 4-fache Beschleunigung der Laufzeit bei einer Ausgabe, die mathematisch identisch mit der greedy Zielmodell-Generierung ist.

Warum es zählt

• Der Engpass beim 70B-Modell sind Speicherzugriffe, nicht Arithmetik — jedes Token benötigt unabhängig von der Batch-Größe rund 30 ms, genau die Beschränkung, die Speculative Decoding angreift.
• Die Akzeptanzwahrscheinlichkeit min(1, q_i/p_i) garantiert, dass die gesampelte Ausgabeverteilung identisch mit greedy Zielmodell-Generierung ist — kein Qualitätskompromiss, nur ein Geschwindigkeitsgewinn.
• Medusa und EAGLE machen ein separates Draft-Modell überflüssig (leichte Vorhersageköpfe oder Feature-Ebenen-Vorhersage stattdessen) und vermeiden so die Zwei-Modell-Serving-Komplexität des ursprünglichen Rezepts.

Kernpunkte

• Sequenzielle Generierung ist speicherbandbreitengebunden, nicht rechengebunden — Speculative Decoding amortisiert einen großen Modell-Forward-Pass über mehrere akzeptierte Tokens.
• Kanonisches Rezept (Leviathan 2023) — kleines Draft-Modell schlägt k Tokens vor, Zielmodell verifiziert alle k in einem parallelen Pass, Accept-Reject erhält die Zielverteilung exakt.
• Moderne Varianten — Medusa (leichte Vorhersageköpfe auf dem Zielmodell, kein separates Draft-Modell); EAGLE (Vorhersage auf Feature-Ebene, ~3-4× Beschleunigung); Lookahead Decoding (N-Gramm-Selbstverifikation, überhaupt kein Draft-Modell).
• Produktivnutzer — Anthropic Claude (TTFT unter 100 ms), Meta-Llama-3-Inferenz-Stacks (vLLM/TensorRT-LLM), Mistral/DeepSeek-vLLM-Bereitstellungen.
• Die Ausgabe ist mathematisch identisch mit greedy/gesampelter Zielmodell-Generierung — Speculative Decoding ist eine reine Latenzoptimierung, kein Qualitätskompromiss.
• Auf einem verwalteten Generative-AI-Hub-Endpunkt ist Speculative Decoding — wie der KV-Cache und der Attention-Kernel — unsichtbar: eine Implementierungsentscheidung des Hosting-Anbieters, eingepreist in den Token-Satz, kein Hebel, den SAP-Kunden direkt konfigurieren.
• Ein selbstgehostetes SAP-AI-Core-BYOM-Deployment (vLLM, laut SAPs eigenem Beispiel-Repository) kann Speculative Decoding mit einem kleineren Schwestermodell als Drafter explizit aktivieren — aber nur, wenn ein passendes, verteilungsgleiches kleines Modell tatsächlich verfügbar und für den Tenant lizenziert ist.
• Das größte praktische Risiko ist ein nicht passendes oder veraltetes Draft-Modell: Sobald Draft und Ziel auseinanderlaufen (meist nach einer Feinabstimmung des Ziels ohne Aktualisierung des Drafts), bricht die Akzeptanz gegen null ein, und die Technik fügt Latenz hinzu, statt sie zu entfernen.

Begriffe auf dieser Seite

Speculative Decoding

Eine Technik zur Inferenzbeschleunigung, bei der ein kleines, schnelles Draft-Modell k Kandidaten-Tokens vorschlägt, die ein großes Zielmodell dann in einem einzigen parallelen Forward-Pass verifiziert, was eine 2- bis 4-fache Laufzeitbeschleunigung bei identischer Ausgabeverteilung wie reines Zielmodell-Sampling erzielt.

Draft-Modell

Das kleine, schnelle Hilfsmodell bei Speculative Decoding, das Kandidaten-Tokens vorschlägt; typischerweise 10- bis 100-mal kleiner als das Zielmodell und idealerweise auf derselben Datenverteilung trainiert, um die Draft-Ziel-Übereinstimmung zu maximieren.

Zielmodell

Das große, teure Modell, dessen Ausgabeverteilung Speculative Decoding exakt erhält; verifiziert die k Kandidaten-Tokens des Draft-Modells in einem parallelen Forward-Pass.

Medusa

Eine Speculative-Decoding-Variante (Cai et al., 2024), die leichte Vorhersageköpfe auf das Zielmodell selbst aufsetzt, wodurch ein separates Draft-Modell entfällt und das Serving vereinfacht wird.

Time-to-First-Token (TTFT)

Die für den Nutzer sichtbare Latenzkennzahl bei LLM-Inferenz — die Laufzeit zwischen dem Absenden eines Prompts und dem Eintreffen des ersten erzeugten Tokens. Speculative Decoding ist eine der wenigen Techniken, die sowohl TTFT als auch den Dauerdurchsatz verbessert.

Quellen

1. Fast Inference from Transformers via Speculative Decoding (Leviathan et al., Google, 2023)
2. Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads (Cai et al., 2024)
3. EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty (Li et al., 2024)
4. Anthropic engineering — Claude inference architecture commentary
5. arXiv — Break the Sequential Dependency of LLM Inference Using Lookahead Decoding (Fu, Bailis, Stoica & Zhang, ICML 2024)
6. GitHub hao-ai-lab — LookaheadDecoding official implementation
7. GitHub vllm-project — vLLM (speculative decoding / draft-model serving configuration)
8. GitHub NVIDIA — TensorRT-LLM (Medusa and draft-model speculative decoding support)
9. SAP News Center — How SAP and NVIDIA Advance Enterprise AI Transformation (NIM inference optimisation, SAP-ABAP-1, 2026-03-17)
10. GitHub SAP-samples — btp-generative-ai-hub-use-cases: bring-your-own OSS LLM on SAP AI Core (vLLM serving backend)
11. SAP Help Portal — Choose a Resource Plan for training/inference in SAP AI Core (GPU sizing for a self-hosted draft+target deployment)
12. Anthropic — Context windows documentation (Claude model family referenced for production sub-100ms TTFT claims)