Quantisierungsstrategien — INT8, INT4, AWQ, GPTQ, GGUF

Worum es geht

Quantisierung verkleinert die Gewichte eines Modells von 16-Bit-Gleitkommazahlen (FP16/BF16, das Trainingsformat) auf 8-Bit- (INT8) oder 4-Bit-Ganzzahlen (INT4) und senkt so den GPU-Speicherbedarf um das 2- bis 4-Fache und die Inferenzlatenz um das 1,5- bis 3-Fache — auf Kosten eines kleinen, kontrollierten Genauigkeitsverlusts. Bei einem Modell mit 70 Milliarden Parametern verwandelt INT4 einen FP16-Speicherbedarf von 140 GB in 35 GB — der Unterschied zwischen zwei benötigten H100 und nur einer A100 — eine Kostenlücke, die darüber entscheidet, ob ein Anwendungsfall für On-Premises- oder Edge-Deployment wirtschaftlich tragfähig ist.

Vier Familien dominieren. AWQ (Activation-aware Weight Quantization, MIT 2023) misst, welche Gewichtskanäle auf einem Kalibrierungsdatensatz das meiste Signal tragen, belässt diese in höherer Präzision und quantisiert den Rest aggressiv; die Genauigkeit bleibt bei 4-Bit innerhalb von 0,5-1 Perplexitätspunkt von FP16. GPTQ (Frantar et al. 2022) ist der ältere One-Shot-Quantisierer, der Informationen zweiter Ordnung aus einem Kalibrierungsdatensatz nutzt; sehr schnell anzuwenden, bei instruction-getunten Modellen jedoch leicht ungenauer als AWQ. INT8 SmoothQuant verschiebt Aktivierungs-Ausreißer in die Gewichtsmatrix, sodass beide sauber 8-Bit sein können; die konservative Wahl, wenn die Genauigkeit nahe an FP16 liegen muss. GGUF (GPT-Generated Unified Format, llama.cpp-Ökosystem) ist ein Containerformat mit mehreren Quantisierungsvarianten (Q2_K, Q4_K_M, Q5_K_M, Q8_0); das De-facto-Format für llama.cpp und Edge-Deployment.

Warum es zählt

• AWQ hält die Genauigkeit bei 4-Bit innerhalb von 0,5-1 Perplexitätspunkt von FP16, indem es signalstarke Gewichtskanäle in höherer Präzision belässt, und übertrifft damit bei instruction-getunten Modellen das ältere GPTQ.
• INT8 SmoothQuant ist die konservative Wahl mit unter 1 % Verschlechterung, der Standard für Rechenzentrums-Serving, bei dem die Genauigkeit nicht kompromittiert werden darf.
• Unterhalb von INT4 (3-Bit, 2-Bit) wird die Verschlechterung aufgabenabhängig — mathematisches und Code-Reasoning brechen zuerst ein, konversationeller Chat verschlechtert sich zuletzt.

Kernpunkte

• Quantisierung verkleinert Gewichte von FP16 auf INT8 (2-fache Speicherreduktion) oder INT4 (4-fache Speicherreduktion) — bei geringen Genauigkeitskosten.
• AWQ (activation-aware, MIT 2023) — beste 4-Bit-Genauigkeit, 0,5-1 Perplexitätspunkt von FP16; Standard für instruction-getunte Modelle.
• GPTQ — älterer One-Shot-Quantisierer, schnell anzuwenden, bei Chat-Modellen leicht schlechter als AWQ.
• INT8 SmoothQuant — konservative 2-fache Kompression, <1 % Genauigkeitsverlust; Standard für Produktions-Serving im Rechenzentrum.
• GGUF — Containerformat mit Varianten von Q2_K bis Q8_0; kanonisch für llama.cpp-Edge- und Laptop-Deployments.
• Unterhalb von INT4 (3-Bit, 2-Bit) — mathematisches und Code-Reasoning brechen zuerst ein; Chat verschlechtert sich zuletzt.

Begriffe auf dieser Seite

Quantisierung

Reduzierung der numerischen Präzision der Gewichte eines Modells (und optional der Aktivierungen) von FP16/BF16 auf INT8 oder INT4, um den Speicherbedarf zu verringern und die Inferenz zu beschleunigen.

AWQ

Activation-aware Weight Quantization (MIT 2023); identifiziert signalstarke Gewichtskanäle anhand eines Kalibrierungsdatensatzes und belässt diese in höherer Präzision, während der Rest aggressiv quantisiert wird.

GPTQ

One-Shot-Post-Training-Quantisierer (Frantar et al. 2022), der näherungsweise Informationen zweiter Ordnung aus einem kleinen Kalibrierungsdatensatz nutzt; schnell, aber bei instruction-getunten Modellen leicht ungenauer als AWQ.

GGUF

Containerformat für quantisierte Modelle im llama.cpp-Ökosystem; enthält Gewichtstensoren in Varianten von Q2_K (2-Bit) bis Q8_0 (8-Bit) mit Metadaten.

SmoothQuant (INT8)

Eine Quantisierungsmethode, die Aktivierungs-Ausreißer mathematisch in die Gewichtsmatrix verschiebt, bevor quantisiert wird, sodass Gewichte und Aktivierungen sauber mit 8 Bit laufen können — die konservative, nahezu FP16-genaue Wahl, die diese Karte für regulierte oder sicherheitsrelevante Ausgaben empfiehlt.

Kalibrierungsdatensatz

Die kleine, repräsentative Stichprobe realer Eingaben, die AWQ, GPTQ und ähnliche Post-Training-Quantisierer nutzen, um zu entscheiden, welche Gewichtskanäle am wichtigsten sind, und sie in höherer Präzision zu erhalten — die Qualität dieser Stichprobe begrenzt direkt die Genauigkeit des quantisierten Modells.

Distillation vs. Quantisierung

Zwei oft verwechselte, unterschiedliche Kompressionstechniken: Distillation trainiert ein kleineres Modell, das Verhalten eines größeren nachzuahmen (ein neues Modell, ein neuer Trainingslauf); Quantisierung behält dieselbe Architektur und dieselben Gewichte, speichert sie aber mit geringerer numerischer Präzision (kein erneutes Training).

BYOM (Bring Your Own Model)

SAPs dokumentierter Pfad in AI Core zum Selbsthosten eines Open-Source- oder maßgeschneidert quantisierten Modells — über Ollama, LocalAI, llama.cpp, vLLM oder einen maßgeschneiderten Hugging-Face-Transformers-Server — statt ein gehostetes Foundation-Modell über den Generative AI Hub zu konsumieren.

Quellen

1. Lin et al. — AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
2. Frantar et al. — GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers
3. Xiao et al. — SmoothQuant: Accurate and Efficient Post-Training Quantization for LLMs
4. llama.cpp GGUF format specification
5. GitHub SAP-samples — btp-generative-ai-hub-use-cases: bring-your-own OSS LLM on SAP AI Core (Ollama, LocalAI, llama.cpp, vLLM, custom HF Transformers server)
6. SAP Help Portal — Choose a Resource Plan for training/inference in SAP AI Core (GPU-tier consequence of a quantization choice)
7. GitHub — casper-hansen/AutoAWQ (AWQ quantization library)
8. SAP News Center — SAP Sapphire keynote: Business AI Platform to power the Autonomous Enterprise (SAP Domain Models, Early Adopter Care → GA target Q3 2026, 2026-05-12)
9. NVIDIA Newsroom — SAP and NVIDIA to Accelerate Generative AI Adoption Across Enterprise Applications
10. GitHub NVIDIA — TensorRT-LLM (FP8/INT8 quantized execution graphs)
11. ggml-org — llama.cpp release v0.6.0 (NVFP4/MXFP4 W4A4 path, Vulkan sparse flash attention for quantised K/V, imatrix activation statistics; 5 Oct 2026)
12. vLLM project — release v0.31.0 (NVFP4 compressed KV cache default, fp8_per_tensor, vllm preload; 5 Oct 2026)
13. vLLM — Quantization (supported quantisation methods and hardware matrix)
14. ggml-org — llama.cpp quantize tool README (GGUF quantisation types and imatrix usage)
15. Hugging Face — Transformers quantization overview (bitsandbytes, AWQ, GPTQ and other backends compared)