Sparse-Attention-Muster — im Stil von Longformer, BigBird, Mixtral

Worum es geht

Sparse-Attention-Muster existieren, um ein ganz bestimmtes arithmetisches Problem zu lösen: Standard-Self-Attention kostet O(n²) in der Sequenzlänge n, weil jedes Token jedes andere Token beachtet. Bei 100.000 Tokens benötigt allein die Attention-Matrix rund 40 GB FP16-Speicher, und diese Kosten dominieren sowohl Rechenzeit als auch Latenz, lange bevor der Rest des Modells zum Engpass wird. Sparse Attention ist die Familie von Techniken, die diese Kosten auf rund O(n·k) oder O(n·log n) senkt, indem jedes Token auf eine strukturierte Teilmenge von k Positionen statt auf die gesamte Sequenz beschränkt wird — und sie ist der konkrete architektonische Grund, warum Long-Context-Modelle wie das 200K-Token-Claude, das 1M-Token-Gemini und das 128K-Token-GPT-4 Turbo überhaupt wirtschaftlich tragfähig sind, statt bloße theoretische Kuriositäten zu bleiben.

Warum es zählt

• Mistral 7Bs Sliding Window mit w=4096 über 32 Schichten ergibt trotz eines nominellen 8K-Fensters ein effektives rezeptives Feld von 131K Tokens.
• BigBirds Global-Local-Muster fügt eine kleine Menge globaler Tokens hinzu, die alles beachten, und mildert damit die Kernschwäche reiner lokalitätsbasierter Sparsity.
• Sparse Attention setzt voraus, dass Lokalität die Relevanz dominiert, was bei echten Global-Reasoning-Aufgaben (eine Tatsache an Position 5K muss eine Generierung an Position 95K informieren) zusammenbricht, sofern globale Tokens oder hybride Dense-Sparse-Stacks dies nicht ausgleichen.

Kernpunkte

• Reine Self-Attention ist O(n²) — bei 100K Tokens benötigt dichte Attention allein ~40 GB FP16; Sparse Attention senkt dies auf O(n·k) oder O(n·log n).
• Sliding-Window (Longformer, Mistral 7B mit w=4096) — das rezeptive Feld wächst linear mit der Tiefe; 32 Schichten × 4096 = 131K effektive Reichweite bei 8K nominellem Fenster.
• Global-Local (BigBird) — Sliding Window + globale Tokens (CLS, Anker) + zufällige Sparse-Verbindungen erhält die theoretische Ausdruckskraft.
• Block-Sparse / Dilated — Sequenz in Blöcke partitioniert, dicht innerhalb, selektiv über Blöcke hinweg; liegt Mixtral 8x7Bs Attention-Schichten zugrunde.
• Kompromiss — setzt voraus, dass Lokalität dominiert; Multi-Dokument-Global-Reasoning benötigt globale Tokens oder hybride Dense-Sparse-Stacks (manche Claude-Varianten vermutlich hybrid).
• Bei einem gehosteten Generative-AI-Hub-Aufruf ist das konkrete Sparse-Attention-Muster hinter Claude, GPT, Gemini oder Mistral weder konfigurierbar noch offengelegt — SAPs governte Alternative (Document Grounding, SAP Knowledge Graph) ist das, was ein Berater tatsächlich kontrolliert.
• Das konkrete Muster zu benennen, zählt beim Vergleich selbst gehosteter Kandidaten auf SAP AI Core: „nutzt Sparse Attention“ sagt allein nichts voraus, während Sliding-Window, Global-Local oder Block-Sparse jeweils einen anderen Kosten-Rückruf-Kompromiss bedeuten.

Begriffe auf dieser Seite

Sliding-Window-Attention

Jedes Token beachtet w Nachbarn auf jeder Seite; Kosten O(n·w); das rezeptive Feld wächst linear mit der Tiefe. Verwendet in Longformer (2020) und Mistral 7B (2023, w=4096).

Globale Tokens

Eine kleine Menge spezieller Tokens, die jede Position beachten und von jeder Position beachtet werden; verwendet in BigBird, um den globalen Informationsfluss trotz Attention mit lokalem Fenster zu erhalten.

Rezeptives Feld

Die Menge der Eingabepositionen, die eine gegebene Ausgabeposition beeinflussen können; bei Sliding-Window-Attention wächst es um w pro Schicht, sodass L Schichten × w Fenster ein effektives rezeptives Feld von L·w ergeben.

Block-Sparse-Attention

Attention-Muster, bei dem die Sequenz in Blöcke partitioniert wird; Attention ist innerhalb jedes Blocks dicht und über Blöcke hinweg selektiv (oder nicht vorhanden); liegt effizienter Long-Context-Inferenz in Mixtral und ähnlichen Modellen zugrunde.

Dichte (volle) Attention

Das Basismuster in O(n²), bei dem jedes Token jedes andere beachtet; der Referenzpunkt, gegen den jedes Sparse-Muster eintauscht, und weiterhin die richtige Standardwahl unter rund 8K Tokens, wo die quadratischen Kosten noch nicht schmerzen.

Attention-Muster-Audit

Die Praxis, einen Anbieter zu fragen oder eine Modellkarte zu prüfen, welches genaue Sparse-Attention-Muster verwendet wird und wie es sich schichtweise zusammensetzt — welche Schichten Sliding-Window, Global-Local oder voll sind —, bevor man einer Kontextlängen-Aussage für einen konkreten SAP-Anwendungsfall vertraut.

Quellen

1. Longformer: The Long-Document Transformer (Beltagy et al., 2020)
2. Big Bird: Transformers for Longer Sequences (Zaheer et al., 2020)
3. Mistral 7B technical report (sliding-window attention)
4. Anthropic Claude 200K context — engineering blog
5. SAP Generative AI — official product page
6. arXiv — FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (Dao et al., 2022)
7. arXiv — FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning (Dao, 2023)
8. Mistral AI — Announcing Mistral 7B (2023): confirms sliding window attention w=4096
9. Mistral AI — Mixtral of Experts announcement (2023)
10. SAP Help Portal — Generative AI hub in SAP AI Core (hosted model endpoints)
11. SAP Help Portal — Orchestration service (document grounding pipeline module)
12. SAP Community — Why SAP needs a Knowledge Graph: giving enterprise AI a map of the business (2026)
13. Databricks — Model Serving documentation (self-hosting open-weight checkpoints)