Sliding Window Attention — Mistrals Trick für langen Kontext

Worum es geht

Sliding Window Attention (SWA) beschränkt die Attention jedes Tokens auf ein festes Fenster naher Tokens — typischerweise 4K — statt auf die gesamte Sequenz zu achten. Durch das Stapeln vieler solcher Schichten breitet sich Information dennoch über große Distanzen aus (jede Schicht erweitert das effektive rezeptive Feld), doch die Kosten pro Schicht sinken von O(n²) auf O(n·w), wobei w die Fenstergröße ist. Die Architektur wurde durch die Forschung von Longformer (2020) und BigBird (2020) populär gemacht und von Mistral 7B (2023) in Produktionsmaßstab gebracht, das SWA mit einem rollierenden KV-Cache kombinierte, um 32K effektiven Kontext auf Hardware zu beanspruchen, die sich das zuvor nicht leisten konnte.

Warum es das gibt. Die quadratischen Kosten voller Attention dominieren GPU-Speicher und -Rechenleistung ab etwa 8K Tokens; FlashAttention (C214) hilft beim konstanten Faktor, nicht aber bei der Asymptotik. Für Anwendungen, bei denen die meisten relevanten Informationen innerhalb weniger tausend Tokens um eine gegebene Position liegen (lange Dokumente, Codebasen, mehrstufiger Chat), ist volle Attention verschwenderisch. SWA nutzt diese Lokalität direkt aus.

Warum es zählt

• Die Kosten pro Schicht sinken von O(n²) auf O(n·w), und ein rollierender KV-Cache lässt den Speicher pro Anfrage bei O(w) statt O(n) bleiben, indem Tokens außerhalb des Fensters verworfen werden.
• Ein 32-Schichten-Modell mit w=4096 erreicht rein durch das Stapeln von Sliding Windows ein theoretisches rezeptives Feld von rund 128K.
• Reines SWA kann Informationen verlieren, die mehr Sprünge benötigt hätten, als die Modelltiefe erlaubt — deshalb mischen Mistral Large und Mixtral 8x22B SWA mit periodischen Full-Attention-Schichten.

Kernpunkte

• Jedes Token beachtet nur die w vorangehenden Tokens (kausales Sliding Window) — O(n·w)-Kosten pro Schicht statt O(n²) bei voller Attention.
• Das effektive rezeptive Feld wächst über L gestapelte Schichten auf L · w; ein 32-Schichten-Mistral-7B (w=4096) erreicht ~128K theoretische Reichweite.
• Mistral 7B nutzt reines SWA-4096 + rollierenden KV-Cache — gedeckelter KV-Speicher pro Anfrage und beworbener 32K-Kontext.
• Mistral Large, Mixtral, Gemini 1.5 und Claude nutzen hybrides SWA + periodische Full-Attention-Schichten, um Genauigkeit über große Distanzen zurückzugewinnen.
• Vorläufer — Longformer (2020) und BigBird (2020) — etablierten das Muster in der Forschung; Mistral 7B (2023) war der Durchbruch in der Produktion.
• Nichts in Joule, Joule Studio oder dem Generative AI Hub legt eine konfigurierbare Sliding-Window-Größe offen — SWA ist vollständig eine Eigenschaft des offenen Checkpoints, den ein Team auf SAP AI Core selbst hostet.
• Die Lokalitätsannahme hinter SWA bricht speziell bei dicht querverwiesenen Unternehmensdokumenten — eine Bestellung, die auf eine Vertragsklausel verweist, die wiederum auf einen Stammdatensatz verweist — genau die Struktur vieler SAP-Geschäftsdokumente.

Begriffe auf dieser Seite

Sliding-Window-Attention (SWA)

Ein Attention-Muster, bei dem jedes Token nur die w nächsten vorangehenden Tokens beachtet, was die Kosten pro Schicht von O(n²) auf O(n·w) reduziert. Information breitet sich durch das Stapeln von Schichten über größere Distanzen aus.

Rollierender KV-Cache

Eine Inferenzzeit-Optimierung, die Key/Value-Einträge für Tokens außerhalb des aktuellen Sliding Windows verwirft und den KV-Speicher pro Anfrage unabhängig von der Gesamtsequenzlänge auf O(w) deckelt. Mistral 7Bs Signaturtrick.

Effektives rezeptives Feld

Die maximale Distanz, über die sich Information durch gestapelte SWA-Schichten vom Eingang zum Ausgang ausbreiten kann, gleich L · w für L Schichten mit Fenster w. Zu unterscheiden vom beworbenen „Kontextfenster“.

Hybride Attention

Eine Architektur, die SWA-Schichten mit periodischen Full-Attention-Schichten verschachtelt (z. B. jede 4. oder jede 8. Schicht). Verwendet von Mistral Large, Mixtral, Gemini 1.5 und Claude, um die Genauigkeit über große Distanzen zurückzugewinnen, die reines SWA einbüßen kann.

Lokalitätsannahme

Die grundlegende Wette hinter jedem Sparse-Attention-Muster, SWA eingeschlossen, dass nahe beieinanderliegende Tokens für eine gegebene Vorhersage stärker zählen als weit entfernte. Trifft für natürliche Prosa gut zu; bricht bei Dokumenten mit dichten Querverweisen zusammen, wie sie in vielen SAP-Geschäftsdokumenten vorkommen.

Quellen

1. Beltagy et al. — Longformer: The Long-Document Transformer (2020)
2. Jiang et al. — Mistral 7B (2023) — Sliding Window Attention and Rolling Buffer Cache
3. Mistral's Model Lets You Vibe Long-Running Code in the Cloud — AI Business, 2026-05-12
4. Mistral AI — Announcing Mistral 7B (2023): confirms sliding window attention w=4096 + GQA
5. arXiv — Big Bird: Transformers for Longer Sequences (Zaheer et al., 2020)
6. Mistral AI — Mixtral of Experts announcement (2023)
7. SAP Help Portal — Generative AI hub in SAP AI Core (hosted model endpoints)
8. SAP Help Portal — Metering and pricing for generative AI on SAP AI Core (AI Units)
9. SAP Community — Why SAP needs a Knowledge Graph: giving enterprise AI a map of the business (2026)
10. Databricks — Model Serving documentation (self-hosting open-weight checkpoints)
11. arXiv — FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (Dao et al., 2022)
12. Efficient Streaming Language Models with Attention Sinks — Xiao et al., arXiv
13. FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning — Dao, arXiv
14. GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints — Ainslie et al., arXiv
15. Lost in the Middle: How Language Models Use Long Contexts — Liu et al., arXiv
16. Mistral model documentation — Hugging Face Transformers