Attention-Mechanismus — vom Scaled Dot-Product zum Produktiveinsatz

Worum es geht

Attention ist der Mechanismus, der es jedem Token in einer Sequenz erlaubt, in einer einzigen parallelen Berechnung zu entscheiden, welche anderen Token für es wichtig sind und in welchem Maß. Er löste Rekurrenz und Convolution als dominierendes Sequenzmodellierungs-Primitiv nach dem 2017er Paper „Attention Is All You Need“ ab, und jedes für Anwender relevante Modell, das ein Berater zitieren wird — GPT, Claude, Gemini, Llama, Mistral —, ist ein Stapel von Attention-Schichten, umhüllt von Feed-Forward-Blöcken. Es zu verstehen ist für einen SAP-Analytics-Praktiker keine akademische Nebensächlichkeit; es ist das Konzept, das erklärt, warum langer Kontext teuer ist, warum die GPU-Dimensionierung für ein selbst gehostetes Deployment schwierig ist und warum eine Pro-Token-API-Rechnung sich so verhält, wie sie sich verhält.

Warum es zählt

• Die √dₖ-Skalierung in softmax(QKᵀ/√dₖ) existiert speziell, um zu verhindern, dass Skalarprodukte bei hoher Embedding-Dimension die Softmax sättigen.
• Causal Masking in Decodern setzt die Attention zu zukünftigen Token auf null — der mechanische Grund, warum autoregressive Generierung Token für Token funktioniert.
• Die O(n²·d)-Kosten sind der direkte Treiber der Pro-Token-Rechnung eines Joule-Deployments — das Tuning der Kontextlänge oder das Debugging der Latenz bedeutet, die Attention-Kosten zu tunen.

Kernpunkte

• Scaled-Dot-Product-Formel — softmax(Q·Kᵀ / √dₖ)·V — drei Projektionen pro Token, eine softmax-gewichtete Summe.
• √dₖ-Skalierung verhindert Softmax-Sättigung bei hoher Embedding-Dimension; ohne sie verschwinden die Gradienten bei großen Modellen.
• Die Kosten liegen sowohl bei Compute als auch bei Speicher bei O(n²·d) — quadratisch in der Sequenzlänge n, linear in der Head-Dimension d.
• Die Causal Mask in Decodern setzt die Attention zu zukünftigen Token auf null und erzwingt eine Generierung von links nach rechts.
• Jede LLM-Optimierung seit 2017 (FlashAttention, GQA, MQA, Sliding Window, Sparse) greift die O(n²)-Wand an.
• Multi-Head Attention führt mehrere Attention-Berechnungen parallel mit unterschiedlichen gelernten Q/K/V-Projektionen aus und verkettet sowie reprojiziert anschließend die Ergebnisse — die tatsächliche Produktionseinheit, nicht die isoliert betrachtete Einzelkopf-Formel.
• FlashAttention und FlashAttention-2 ändern nicht, was Attention berechnet, sondern nur, wie die GPU es berechnet — IO-bewusste Kernel-Fusion senkt Latenz und Speicherverkehr, ohne die asymptotische O(n²)-Komplexität anzutasten.
• SAPs Generative AI Hub rechnet pro Token über AI Units ab, sodass sich die quadratischen Attention-Kosten direkt als gemessener Verbrauch auf der SAP-Rechnung eines Kunden niederschlagen, nicht als separate Infrastrukturposition.

Begriffe auf dieser Seite

Query / Key / Value (Q, K, V)

Drei lineare Projektionen jedes Input-Token-Embeddings. Q stellt die Frage (‚wonach suche ich?‘), K bietet die Antwort an (‚was enthalte ich?‘), V trägt die Nutzlast, die in die Ausgabe eingemischt wird.

Softmax

Die Normalisierungsfunktion, die rohe Skalarprodukt-Werte in eine Wahrscheinlichkeitsverteilung über Token umwandelt. Sättigt (Gradienten verschwinden), wenn die Eingaben zu groß sind — der Grund für die √dₖ-Skalierung.

Causal Mask

Eine dreieckige Maske, die vor der Softmax in reinen Decoder-Modellen angewendet wird, sodass jede Position nur auf sich selbst und frühere Positionen zugreift; erzwingt autoregressive Generierung von links nach rechts.

Head-Dimension (dₖ)

Die Größe der Q/K/V-Vektoren jedes Attention-Heads. Typische Werte 64 oder 128; die gesamte Modell-Embedding-Dimension = Anzahl Heads × dₖ.

Multi-Head Attention

Das parallele Ausführen von h unabhängigen Attention-Berechnungen, jede mit eigenen gelernten Q/K/V-Projektionen, gefolgt von Verkettung und linearer Reprojektion der Ergebnisse — erlaubt einer Schicht, mehrere Beziehungen (Syntax, Koreferenz, Position) gleichzeitig zu beachten.

FlashAttention

Ein IO-bewusster GPU-Kernel (Dao et al., 2022; v2 2023), der die Attention-Berechnung blockweise fusioniert, sodass die vollständige n×n-Attention-Matrix nie im High-Bandwidth-Speicher der GPU materialisiert wird — senkt die Latenz, ohne die O(n²)-Rechenkomplexität zu ändern.

Quellen

1. Vaswani et al. — Attention Is All You Need (NeurIPS 2017)
2. Stanford CS25 — Transformers United (lecture notes 2024-2026)
3. SAP Business AI — official product page
4. SAP Generative AI — official product page
5. arXiv — FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (Dao et al., 2022)
6. arXiv — FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning (Dao, 2023)
7. SAP Help Portal — Orchestration service, generative AI hub (grounding, masking, filtering pipeline)
8. SAP Help Portal — Generative AI hub in SAP AI Core (model access overview)
9. Anthropic — Context windows documentation (2026 model context/output limits)
10. SAP Help Portal — Metering and pricing for generative AI on SAP AI Core (AI Units)
11. SAP Community — Why SAP needs a Knowledge Graph: giving enterprise AI a map of the business (2026)
12. SAP — SAP-RPT tabular foundation model product page (contrast: in-context learning without sequential-token attention)