Konzeptkarte

Sparse-Attention-Muster — im Stil von Longformer, BigBird, Mixtral

Stand 2026-07-24T14:00:00Z

Redaktion: Cédric-Olivier Mâry, alleiniger Redakteur und verantwortlich für die Veröffentlichung — 27 Jahre im SAP-Ökosystem. Wie diese Seiten entstehen und wo Automatisierung eingesetzt wird.

Was ist Sparse-Attention-Muster — im Stil von Longformer, BigBird, Mixtral?

Bei 100.000 Tokens benötigt allein die Attention-Matrix rund 40 GB FP16-Speicher — Sparse-Attention-Muster (Sliding Window, Global-Local, Block-Sparse) sind der einzige Grund, warum Long-Context-Modelle wie Claude 200K oder Gemini 1M überhaupt wirtschaftlich tragfähig sind.

Worum es geht

Sparse-Attention-Muster existieren, um ein ganz bestimmtes arithmetisches Problem zu lösen: Standard-Self-Attention kostet O(n²) in der Sequenzlänge n, weil jedes Token jedes andere Token beachtet. Bei 100.000 Tokens benötigt allein die Attention-Matrix rund 40 GB FP16-Speicher, und diese Kosten dominieren sowohl Rechenzeit als auch Latenz, lange bevor der Rest des Modells zum Engpass wird. Sparse Attention ist die Familie von Techniken, die diese Kosten auf rund O(n·k) oder O(n·log n) senkt, indem jedes Token auf eine strukturierte Teilmenge von k Positionen statt auf die gesamte Sequenz beschränkt wird — und sie ist der konkrete architektonische Grund, warum Long-Context-Modelle wie das 200K-Token-Claude, das 1M-Token-Gemini und das 128K-Token-GPT-4 Turbo überhaupt wirtschaftlich tragfähig sind, statt bloße theoretische Kuriositäten zu bleiben.

Warum es zählt

Mistral 7Bs Sliding Window mit w=4096 über 32 Schichten ergibt trotz eines nominellen 8K-Fensters ein effektives rezeptives Feld von 131K Tokens.
BigBirds Global-Local-Muster fügt eine kleine Menge globaler Tokens hinzu, die alles beachten, und mildert damit die Kernschwäche reiner lokalitätsbasierter Sparsity.
Sparse Attention setzt voraus, dass Lokalität die Relevanz dominiert, was bei echten Global-Reasoning-Aufgaben (eine Tatsache an Position 5K muss eine Generierung an Position 95K informieren) zusammenbricht, sofern globale Tokens oder hybride Dense-Sparse-Stacks dies nicht ausgleichen.

Kernpunkte

Reine Self-Attention ist O(n²) — bei 100K Tokens benötigt dichte Attention allein ~40 GB FP16; Sparse Attention senkt dies auf O(n·k) oder O(n·log n).
Sliding-Window (Longformer, Mistral 7B mit w=4096) — das rezeptive Feld wächst linear mit der Tiefe; 32 Schichten × 4096 = 131K effektive Reichweite bei 8K nominellem Fenster.
Global-Local (BigBird) — Sliding Window + globale Tokens (CLS, Anker) + zufällige Sparse-Verbindungen erhält die theoretische Ausdruckskraft.
Block-Sparse / Dilated — Sequenz in Blöcke partitioniert, dicht innerhalb, selektiv über Blöcke hinweg; liegt Mixtral 8x7Bs Attention-Schichten zugrunde.
Kompromiss — setzt voraus, dass Lokalität dominiert; Multi-Dokument-Global-Reasoning benötigt globale Tokens oder hybride Dense-Sparse-Stacks (manche Claude-Varianten vermutlich hybrid).
„Sparse-Attention-Muster — im Stil von Longformer, BigBird, Mixtral" ist erst dann beherrscht, wenn es eine benannte Kaufentscheidung verändert.
Beginnen Sie mit dem semantischen Vertrag und dem Steuerungsmodell, bevor Sie das Tool demonstrieren.
Nutzen Sie aktuelle SAP-, Analysten-, Studien-, KG- und News-Signale als Beleg, nicht als Dekoration.
Trennen Sie verifizierte Fakten von richtungsweisenden Trends und modellierten Annahmen.
Definieren Sie Verantwortlichen, Kennzahl, Schwellenwert, Support-Pfad und Rollback, bevor Sie skalieren.

Begriffe auf dieser Seite

Sliding-Window-Attention: Jedes Token beachtet w Nachbarn auf jeder Seite; Kosten O(n·w); das rezeptive Feld wächst linear mit der Tiefe. Verwendet in Longformer (2020) und Mistral 7B (2023, w=4096).
Globale Tokens: Eine kleine Menge spezieller Tokens, die jede Position beachten und von jeder Position beachtet werden; verwendet in BigBird, um den globalen Informationsfluss trotz Attention mit lokalem Fenster zu erhalten.
Rezeptives Feld: Die Menge der Eingabepositionen, die eine gegebene Ausgabeposition beeinflussen können; bei Sliding-Window-Attention wächst es um w pro Schicht, sodass L Schichten × w Fenster ein effektives rezeptives Feld von L·w ergeben.
Block-Sparse-Attention: Attention-Muster, bei dem die Sequenz in Blöcke partitioniert wird; Attention ist innerhalb jedes Blocks dicht und über Blöcke hinweg selektiv (oder nicht vorhanden); liegt effizienter Long-Context-Inferenz in Mixtral und ähnlichen Modellen zugrunde.
Entscheidungsverantwortlicher: Die verantwortliche Person, die den Kompromiss akzeptiert und die nächste Maßnahme finanziert.
Semantischer Vertrag: Die gemeinsame Definition von Geschäftsbegriffen, Kennzahlen, Entitäten und Zugriffsregeln, die von Tools und Teams verwendet wird.
Control Plane: Die Schicht, die Policy, Zugriff, Lineage, Monitoring und Eskalation über das Betriebsmodell hinweg durchsetzt.
Evidenzgrad: Eine Kennzeichnung, die verifizierte Fakten, Richtungssignale, modellierte Annahmen und Feldbeobachtungen unterscheidet.

Quellen

Vollständige Karte für Mitglieder. Was die vollständige Karte ergänzt: den vollständigen Entscheidungsrahmen · den Vergleich SAP · Snowflake · Databricks · Fabric · die häufigen Fallstricke und ihre Behebung · die Kurzreferenz · die Architekturschemata · die Codeblöcke · die zitierfähigen Kennzahlen.

In der App öffnen →