LLM-Inferenz-Engines — vLLM vs. TensorRT-LLM vs. llama.cpp vs. SGLang

Eine LLM-Inferenz-Engine ist die Laufzeitschicht, die die Gewichte eines trainierten Modells in ausgelieferte Token verwandelt: Sie plant eingehende Anfragen, verwaltet den GPU-Speicher, bündelt Prompts zu Batches und dekodiert Ausgaben Token für Token. Die Wahl der Engine ist wohl der größte einzelne Hebel für die Servierkosten im gesamten Generative-AI-Stack — dasselbe Modell mit siebzig Milliarden Open-Weight-Parametern kann auf einer naiven, unoptimierten Serving-Schleife drei- bis zehnmal teurer im Betrieb sein als auf einer sauber abgestimmten Produktions-Engine, noch bevor jemand an Modellgröße oder Prompt-Design gerührt hat.

Die vier Engines, auf die es ankommt

vLLM, entstanden aus Forschung an der UC Berkeley, ist die Open-Source-Referenzimplementierung, zu der die meisten Teams zuerst greifen. Seine Signaturtechnik, PagedAttention, verwaltet den Key-Value-Cache so, wie ein Betriebssystem virtuellen Speicher verwaltet, was es erlaubt, weit mehr gleichzeitige Anfragen auf dieselbe GPU zu packen als frühere Serving-Stacks. Kombiniert mit Continuous Batching — neue Anfragen in einen laufenden Batch einzufalten, statt zu warten, bis der gesamte Batch fertig ist — deckt vLLM eine riesige Bandbreite an Open-Weight-Modellfamilien ab und ist wirklich einfach zu betreiben, weshalb es zur Standardwahl für Teams geworden ist, die Llama, Mistral, Qwen oder ähnliche Modelle auf NVIDIA- oder AMD-Hardware selbst hosten.

Warum es zählt

• vLLM ist der Open-Source-Standard für breite Modellabdeckung und Python-Ergonomie; TensorRT-LLM ist 1,5-2x schneller auf H100/H200, braucht aber einen 30-90-minütigen Kompilierungsschritt pro Modellvariante und bindet an NVIDIA.
• llama.cpp ist die Edge-/Laptop-Engine (10-15 Tok/s auf einem MacBook M-Series), keine Rechenzentrums-Wahl; SGLangs RadixAttention ist 2-5x schneller als vLLM speziell bei agentischen Workloads mit starker Präfix-Wiederverwendung.
• Die Entscheidung bildet sich direkt auf den Workload ab: TensorRT-LLM für latenzsensiblen Einzelnutzer-Chat, vLLM für hochdurchsatzstarkes Batch-RAG, SGLang für mehrstufige Joule-Agenten mit gemeinsamen System-Prompts.

Kernpunkte

• Vier dominante Engines — vLLM (Open-Source-Standard), TensorRT-LLM (maximaler Durchsatz auf NVIDIA), llama.cpp (CPU/Edge), SGLang (Präfix-Wiederverwendung für Agenten).
• vLLM kombiniert PagedAttention (C246) + Continuous Batching (C245) — 10-24x Durchsatz gegenüber der HuggingFace-generate()-Baseline.
• TensorRT-LLM kompiliert modellspezifische Engines (fusionierte FP8/INT8-Kernel) — 1,5-2x schneller als vLLM auf H100, aber schwererer Build-Schritt + nur NVIDIA.
• SGLangs RadixAttention teilt den KV-Cache über Anfragen mit gemeinsamen Präfixen — 2-5x Beschleunigung bei agentischen und Few-Shot-Workloads.
• Die Engine-Wahl ist der größte einzelne Kostenhebel — die falsche Engine kann die GPU-Rechnung ver-3- bis ver-10-fachen, bevor Modell-Tuning überhaupt eine Rolle spielt.
• Q4-Quantisierung bei einem 70B-Modell: VRAM von 140 GB auf 40 GB, 2-4 % Genauigkeitsverlust — für SAP-Extraktionsaufgaben oft nicht wahrnehmbar.
• OpenAI-kompatible API (/v1/chat/completions): vLLM und TensorRT-LLM implementieren sie — Modell oder Engine wechseln, ohne die SAP-Integrationsschicht anzufassen.
• Produktions-Monitoring-Metriken: Token/s pro GPU, TTFT P50/P99, KV-Cache-Trefferrate, GPU-Speicherauslastung (von vLLM alle über Prometheus bereitgestellt).
• llama.cpp: Llama-3-8B mit 10-15 Token/s auf einem MacBook der M-Serie, 20-30 Token/s auf einer RTX 4090 — eine Laptop-/Edge-Engine, keine Rechenzentrums-Engine.
• SAP-Deployment-Muster: Docker-Container auf SAP AI Core + OpenAI-kompatibler Endpunkt = BTP-/Datasphere-/Joule-Integration bleibt beim Modellwechsel unverändert.

Begriffe auf dieser Seite

Inferenz-Engine

Die Laufzeit, die Modellgewichte in den GPU-/CPU-Speicher lädt, eingehende Anfragen plant, den KV-Cache verwaltet und Ausgabe-Token dekodiert; zu unterscheiden vom Modell selbst.

vLLM

Open-Source-LLM-Inferenz-Engine von der UC Berkeley (2023), aufgebaut um PagedAttention und Continuous Batching; die De-facto-Referenz für das Selbsthosten von Open-Weight-Modellen — und eines der Serving-Backends, die SAPs eigenes Beispiel-Repository für den Bring-Your-Own-Model-Pfad auf SAP AI Core dokumentiert.

TensorRT-LLM

NVIDIAs kompilierte Inferenz-Engine, die CUDA-Kernel fusioniert und pro Modell FP8/INT8-Quantisierung anwendet; höchster absoluter Durchsatz auf NVIDIA-Hardware, architektonisch nah an dem, worauf NVIDIA-NIM-Microservices für SAPs eigenes Domänenmodell-Serving aufbauen.

RadixAttention

SGLangs Technik, den KV-Cache als Präfixbaum zu organisieren, sodass mehrere Anfragen, die System-Prompt bzw. Few-Shot-Beispiele teilen, die zwischengespeicherte Berechnung wiederverwenden.

llama.cpp

Eine C/C++-Inferenz-Engine für quantisierte Modelle (GGUF-Format), die auf gewöhnlichen CPUs, Apple Silicon oder einer einzelnen Consumer-GPU läuft; die natürliche Wahl für Edge-, Laptop- oder Air-Gapped-Einsätze, nicht für Serving im Rechenzentrumsmaßstab.

Continuous Batching

Eine Scheduling-Technik, die neu eingehende Anfragen in einen bereits laufenden Batch einfügt, statt auf das Ende des gesamten Batches zu warten, wodurch die GPU-Auslastung bei variablem, realem Verkehr hoch bleibt.

OpenAI-kompatible API

Der /v1/chat/completions-Anfrage-/Antwortvertrag, den vLLM, TensorRT-LLM und die meisten Serving-Engines implementieren und der es erlaubt, Modell oder Engine hinter einer SAP-Integrationsschicht auszutauschen, ohne den aufrufenden Code anzufassen.

GGUF

GPT-Generated Unified Format — das Containerformat, das llama.cpp für quantisierte Modellgewichte nutzt, mit mehreren Präzisionsvarianten (Q2_K bis Q8_0) in einer Datei (siehe C243).

Quellen

1. Kwon et al. — Efficient Memory Management for Large Language Model Serving with PagedAttention (vLLM paper, SOSP 2023)
2. NVIDIA TensorRT-LLM documentation
3. ggerganov/llama.cpp GitHub repository
4. Zheng et al. — SGLang: Efficient Execution of Structured Language Model Programs
5. SAP Help Portal — SAP Autonomous Suite documentation
6. SAP News Center — How SAP and NVIDIA Advance Enterprise AI Transformation (NIM inference optimisation, SAP-ABAP-1, 2026-03-17)
7. GitHub SAP-samples — btp-generative-ai-hub-use-cases: bring-your-own OSS LLM on SAP AI Core (Ollama, LocalAI, llama.cpp, vLLM, custom HF Transformers server)
8. GitHub SGLang — sgl-project/sglang (RadixAttention engine)
9. SAP Help Portal — Choose a Resource Plan for training/inference in SAP AI Core
10. OpenAI — Chat Completions API reference (the compatibility contract vLLM/TensorRT-LLM implement)
11. NVIDIA Newsroom — SAP and NVIDIA to Accelerate Generative AI Adoption Across Enterprise Applications
12. GitHub NVIDIA — TensorRT-LLM