Multi-Head Attention vs. Grouped-Query Attention vs. Multi-Query Attention

Worum es geht

Multi-Head Attention (MHA), Grouped-Query Attention (GQA) und Multi-Query Attention (MQA) sind drei Punkte auf derselben Trade-off-Kurve: Wie viele unterschiedliche Key/Value-Projektionen berechnet jede Schicht bei einer festen Anzahl von Query-Heads. Die Wahl ändert nicht, was ein Modell ausdrücken kann; sie ändert, wie viel KV-Cache-Speicher die Inferenz pro Token verbraucht, und damit die Kosten pro Anfrage sowie die maximale Nebenläufigkeit, die eine gegebene GPU bedienen kann.

Warum es existiert. Der ursprüngliche Transformer (2017) nutzte MHA — jeder Query-Head hat seinen eigenen Key- und Value-Head. Das verdoppelt die repräsentative Vielfalt, verdoppelt aber auch den KV-Cache-Speicher bei der Inferenz, was bei langem Kontext die dominierende Speicherkostenart ist (verwandtes Konzept C160). MQA (Shazeer 2019) reduziert alle Heads auf ein einziges gemeinsames K/V — minimaler KV-Speicher, aber ein messbarer Qualitätsverlust bei großem Maßstab. GQA (Ainslie et al. 2023) ist der praktische Kompromiss, den jedes Frontier-Modell seit Llama 2 übernommen hat.

Wie sie funktionieren. Bei n_q Query-Heads und n_kv Key/Value-Heads: MHA nutzt n_kv = n_q (z. B. Llama 1 70B: 64 Q, 64 KV). MQA nutzt n_kv = 1 (ein gemeinsames K/V über alle Q-Heads hinweg). GQA gruppiert Q-Heads in g Gruppen, die sich K/V teilen (z. B. Llama 3 70B: 64 Q, 8 KV — 8 Q-Heads pro gemeinsamem KV-Paar). Llama 3/4, Mistral, Mixtral, Gemma 2 und Claude (gemäß abgeleiteter Architektur) nutzen alle GQA. Die GPT-4-Familie nutzt laut öffentlichen Reverse-Engineering-Analysen MHA; Details zu GPT-5 bleiben unveröffentlicht.

Warum es zählt

• MHA (Llama 1 70B: 64 Q, 64 KV) maximiert die repräsentative Vielfalt, verdoppelt aber den KV-Cache-Speicher gegenüber den Alternativen; MQA reduziert auf einen gemeinsamen K/V-Head mit einem messbaren Qualitätsverlust bei großem Maßstab.
• GQA (Llama 3 70B: 64 Q, 8 KV) ist der praktische Kompromiss, den jedes Frontier-Modell seit Llama 2 übernommen hat.
• Wer über SAP AI Core selbst hostet oder fine-tuned, für den bestimmt diese eine architektonische Wahl die tragfähige Nebenläufigkeit pro GPU — unsichtbar für einen Nutzer einer gehosteten API, aber essenziell, um zu verstehen, warum manche Modelle günstiger bereitzustellen sind.

Kernpunkte

• Drei Punkte auf einer Kurve — MHA (n_kv = n_q), GQA (n_kv = n_q / g), MQA (n_kv = 1) — KV-Speicher gegen Qualität eingetauscht.
• GQA-8 (8 Q-Heads pro KV-Paar) ist der Standard für Llama 3/4, Mistral 7B/Large, Mixtral 8x7B, Gemma 2 — ~8-fache KV-Speicherreduktion gegenüber MHA, <1 % MMLU-Verlust.
• MQA (n_kv = 1) maximiert die Speicherersparnis, verschlechtert aber die Multi-Task-Qualität; nach 2023 selten in Frontier-Modellen eingesetzt.
• KV-Cache-Speicher bei der Inferenz = 2 · n_layers · n_kv · d_head · seq_len · batch · bytes — n_kv ist der dominierende Hebel.
• Der Erhalt der Qualität erfordert GQA-Training von Grund auf oder sorgfältiges ‚Uptraining‘ von einem MHA-Checkpoint aus (Ainslie 2023).
• GQA ist selbst für geschlossene Frontier-Modelle mit nicht offengelegter Architektur zum Standard geworden — Claudes Head-Konfiguration ist öffentlich nicht bestätigt, aber ihre Serving-Ökonomie passt zu einem GQA-artigen Design.
• Multi-Head Latent Attention (MLA), eingeführt in DeepSeek-V2 (2024), komprimiert K/V in einen gemeinsamen niedrigrangigen latenten Vektor und treibt die KV-Cache-Reduktion bei vergleichbarer Qualität weiter als GQA-8 — die Front dieser gleichen Kurve.
• Auf SAP AI Core ist die MHA/GQA/MQA-Wahl für jedes als verwalteter Generative-AI-Hub-Endpunkt bereitgestellte Modell unsichtbar; sie wird erst zu einer echten Beratungsentscheidung beim Selbst-Hosten oder Fine-Tuning eines offenen Checkpoints.

Begriffe auf dieser Seite

n_q / n_kv

Die Anzahl der Query-Heads (n_q) und Key/Value-Heads (n_kv) in einer Transformer-Schicht. MHA hat n_kv = n_q; GQA hat n_kv < n_q; MQA hat n_kv = 1.

KV-Cache

Der pro Anfrage geführte Speicher berechneter Key- und Value-Tensoren für alle vergangenen Token, der bei jedem Generierungsschritt wiederverwendet wird, um Neuberechnung zu vermeiden. Dominiert den GPU-Speicher bei langem Kontext.

Uptraining

Das Verfahren (Ainslie et al. 2023) zur Umwandlung eines bestehenden MHA-Checkpoints in ein GQA-Modell mit einer geringen Menge zusätzlichen Trainings, wobei der Großteil der ursprünglichen Qualität zu einem Bruchteil der Kosten eines Trainings von Grund auf erhalten bleibt.

Nebenläufigkeit

Die Anzahl gleichzeitiger Nutzersitzungen, die ein fester GPU-Pool bei der Ziel-Latenz bedienen kann. Umgekehrt proportional zum KV-Cache-Speicher pro Sitzung — der zentrale Business-KPI, den GQA verbessert.

Attention-Head-Verhältnis (Q:KV)

Die eine Zahl (n_q geteilt durch n_kv), die den Inferenzspeicher und die Nebenläufigkeit zuverlässiger vorhersagt als die Gesamtparameterzahl; sollte in jeder Modellkarte eines offenen Modells oder jeder Selbst-Hosting-Ausschreibung explizit erfragt werden.

AI Units (SAP)

SAPs gemessene Preiseinheit für Premium-KI-Verbrauch im Generative AI Hub; verbirgt die n_kv-Konfiguration des zugrunde liegenden Modells vor der Kundenrechnung, weshalb das Kostenverhalten eines selbst gehosteten Deployments ein an gehostete Endpunktpreise gewöhntes Team überraschen kann.

Multi-Head Latent Attention (MLA)

Eine Kompression jenseits von GQA, eingeführt in DeepSeek-V2 (2024): Keys und Values werden vor dem Caching in einen gemeinsamen niedrigrangigen latenten Vektor projiziert, was die KV-Cache-Speicherung bei vergleichbarer Qualität noch stärker reduziert als GQA-8 — die aktuelle Front der von dieser Karte beschriebenen Speicher-Qualitäts-Kurve.

Quellen

1. Ainslie et al. — GQA: Training Generalized Multi-Query Transformer Models (2023)
2. Meta AI — Llama 3 Model Card and Architecture Notes
3. Mistral's Model Lets You Vibe Long-Running Code in the Cloud — AI Business, 2026-05-12
4. SAP Generative AI — official product page
5. arXiv — Fast Transformer Decoding: One Write-Head is All You Need (Shazeer, 2019 — origin of MQA)
6. Mistral AI — Announcing Mistral 7B (2023): confirms GQA + sliding window attention
7. SAP Help Portal — Generative AI hub in SAP AI Core (hosted model endpoints)
8. SAP Help Portal — Metering and pricing for generative AI on SAP AI Core (AI Units)
9. Databricks — Model Serving documentation (self-hosting open-weight checkpoints)
10. arXiv — FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (Dao et al., 2022)
11. SAP — AI Units pricing page (Premium AI consumption model)
12. arXiv — DeepSeek-V2: introduces Multi-Head Latent Attention (MLA) (2024)