Konzeptkarte

Attention-Mechanismus — vom Scaled Dot-Product zum Produktiveinsatz

Stand 2026-07-24T14:00:00Z

Redaktion: Cédric-Olivier Mâry, alleiniger Redakteur und verantwortlich für die Veröffentlichung — 27 Jahre im SAP-Ökosystem. Wie diese Seiten entstehen und wo Automatisierung eingesetzt wird.

Was ist Attention-Mechanismus — vom Scaled Dot-Product zum Produktiveinsatz?

Attention ersetzte Rekurrenz und Convolution, indem sie jede Token-Paar-Interaktion in einem parallelen Schritt berechnet — doch genau dieses Design ist O(n²) in der Sequenzlänge, weshalb jede moderne Variante (FlashAttention, GQA, Sliding Window) existiert, um diese Kosten abzumildern.

Worum es geht

Attention ist der Mechanismus, der es jedem Token in einer Sequenz erlaubt, in einer einzigen parallelen Berechnung zu entscheiden, welche anderen Token für es wichtig sind und in welchem Maß. Er löste Rekurrenz und Convolution als dominierendes Sequenzmodellierungs-Primitiv nach dem 2017er Paper „Attention Is All You Need" ab, und jedes für Anwender relevante Modell, das ein Berater zitieren wird — GPT, Claude, Gemini, Llama, Mistral —, ist ein Stapel von Attention-Schichten, umhüllt von Feed-Forward-Blöcken. Es zu verstehen ist für einen SAP-Analytics-Praktiker keine akademische Nebensächlichkeit; es ist das Konzept, das erklärt, warum langer Kontext teuer ist, warum die GPU-Dimensionierung für ein selbst gehostetes Deployment schwierig ist und warum eine Pro-Token-API-Rechnung sich so verhält, wie sie sich verhält.

Warum es zählt

Die √dₖ-Skalierung in softmax(QKᵀ/√dₖ) existiert speziell, um zu verhindern, dass Skalarprodukte bei hoher Embedding-Dimension die Softmax sättigen.
Causal Masking in Decodern setzt die Attention zu zukünftigen Token auf null — der mechanische Grund, warum autoregressive Generierung Token für Token funktioniert.
Die O(n²·d)-Kosten sind der direkte Treiber der Pro-Token-Rechnung eines Joule-Deployments — das Tuning der Kontextlänge oder das Debugging der Latenz bedeutet, die Attention-Kosten zu tunen.

Kernpunkte

Scaled-Dot-Product-Formel — softmax(Q·Kᵀ / √dₖ)·V — drei Projektionen pro Token, eine softmax-gewichtete Summe.
√dₖ-Skalierung verhindert Softmax-Sättigung bei hoher Embedding-Dimension; ohne sie verschwinden die Gradienten bei großen Modellen.
Die Kosten liegen sowohl bei Compute als auch bei Speicher bei O(n²·d) — quadratisch in der Sequenzlänge n, linear in der Head-Dimension d.
Die Causal Mask in Decodern setzt die Attention zu zukünftigen Token auf null und erzwingt eine Generierung von links nach rechts.
Jede LLM-Optimierung seit 2017 (FlashAttention, GQA, MQA, Sliding Window, Sparse) greift die O(n²)-Wand an.
Attention-Mechanismus — vom Scaled Dot-Product zum Produktiveinsatz ist erst beherrscht, wenn er die Entscheidung eines konkret benannten Buyers verändert.
Zuerst den semantischen Vertrag und das Kontrollmodell klären, bevor das Tool vorgeführt wird.
Aktuelle SAP-, Analysten-, Studien-, KG- und News-Signale als Beleg nutzen, nicht als Dekoration.
Verifizierte Fakten klar von richtungsweisenden Trends und modellierten Annahmen trennen.
Vor dem Skalieren Owner, Kennzahl, Schwellenwert, Support-Pfad und Rollback festlegen.

Begriffe auf dieser Seite

Query / Key / Value (Q, K, V): Drei lineare Projektionen jedes Input-Token-Embeddings. Q stellt die Frage ('wonach suche ich?'), K bietet die Antwort an ('was enthalte ich?'), V trägt die Nutzlast, die in die Ausgabe eingemischt wird.
Softmax: Die Normalisierungsfunktion, die rohe Skalarprodukt-Werte in eine Wahrscheinlichkeitsverteilung über Token umwandelt. Sättigt (Gradienten verschwinden), wenn die Eingaben zu groß sind — der Grund für die √dₖ-Skalierung.
Causal Mask: Eine dreieckige Maske, die vor der Softmax in reinen Decoder-Modellen angewendet wird, sodass jede Position nur auf sich selbst und frühere Positionen zugreift; erzwingt autoregressive Generierung von links nach rechts.
Head-Dimension (dₖ): Die Größe der Q/K/V-Vektoren jedes Attention-Heads. Typische Werte 64 oder 128; die gesamte Modell-Embedding-Dimension = Anzahl Heads × dₖ.
Entscheidungsverantwortlicher: Die verantwortliche Person, die den Trade-off akzeptiert und die nächste Maßnahme finanziert.
Semantischer Vertrag: Die gemeinsame Definition von Geschäftsbegriffen, Kennzahlen, Entitäten und Zugriffsregeln, die von Tools und Teams verwendet wird.
Kontrollebene: Die Schicht, die Policy, Zugriff, Lineage, Monitoring und Eskalation über das gesamte Betriebsmodell hinweg durchsetzt.
Evidenzgrad: Eine Kennzeichnung, die verifizierte Fakten, richtungsweisende Signale, modellierte Annahmen und Feldbeobachtungen voneinander unterscheidet.

Quellen

Vollständige Karte für Mitglieder. Was die vollständige Karte ergänzt: den vollständigen Entscheidungsrahmen · den Vergleich SAP · Snowflake · Databricks · Fabric · die häufigen Fallstricke und ihre Behebung · die Kurzreferenz · die Architekturschemata · die Codeblöcke · die zitierfähigen Kennzahlen.

In der App öffnen →