Konzeptkarte

FlashAttention 2 + 3 — speicherbewusste Attention-Kernels

Stand 2026-07-24T14:00:00Z

Redaktion: Cédric-Olivier Mâry, alleiniger Redakteur und verantwortlich für die Veröffentlichung — 27 Jahre im SAP-Ökosystem. Wie diese Seiten entstehen und wo Automatisierung eingesetzt wird.

Was ist FlashAttention 2 + 3 — speicherbewusste Attention-Kernels?

FlashAttention materialisiert die vollständige n-mal-n-Attention-Matrix nie im langsamen HBM-Speicher — stattdessen kachelt es Q/K/V, damit sie in den schnellen SRAM passen, und schließt bei langem Kontext eine Lücke von 3 bis 10 GPU-Stunden gegenüber einem naiven Attention-Kernel, bei mathematisch identischem Ergebnis.

Worum es geht

FlashAttention ist keine neue Art, Attention mathematisch zu berechnen — es liefert exakt dieselben Zahlen wie Standard-Scaled-Dot-Product-Attention —, sondern eine andere Art, Daten zu bewegen, während man rechnet, und genau darin liegt der ganze Punkt. FlashAttention 1 (2022) etablierte das Muster; FlashAttention 2 (2023) strukturierte die Parallelität für einen Speedup von etwa dem 2-Fachen um; FlashAttention 3 (2024) ist speziell auf die Hopper-Generation von GPUs (H100, H200) abgestimmt und nutzt asynchrone Speicherkopier-Hardware sowie FP8-Arithmetik, um einen hohen Anteil des theoretischen Durchsatzes des Chips zu erreichen. Für einen SAP-Berater ist die Relevanz konkret: Dies ist einer der größten, unsichtbarsten Hebel auf die Kosten pro Token jedes selbst gehosteten oder auf BTP AI Core basierenden generativen KI-Deployments.

Das Problem, das es löst, ist eine Fehlanpassung der Speicherhierarchie, kein Rechenengpass. Eine GPU hat eine kleine Menge sehr schnellen On-Chip-Speichers (SRAM) und einen viel größeren Pool langsameren Speichers (HBM). Standard-Attention-Implementierungen berechnen die vollständige n-mal-n-Matrix der Token-zu-Token-Attention-Werte und schreiben diese gesamte Matrix ins HBM, bevor sie für die Softmax und die gewichtete Summe wieder eingelesen wird — bei langer Sequenzlänge wird dieser Verkehr zwischen HBM und den Recheneinheiten zum Flaschenhals, und die arithmetischen Einheiten der GPU stehen untätig, während sie auf ankommende Daten warten. Deshalb wird Attention bei langem Kontext als speichergebunden statt als rechengebunden beschrieben: Der Chip hat FLOPs übrig, kann sie nur nicht schnell genug füttern.

Warum es zählt

Die Mathematik ist exakt, keine Näherung — FlashAttention ändert nur, wie Attention auf der GPU berechnet wird, niemals, was berechnet wird.
FlashAttention 3 nutzt Hopper-spezifische Hardware (TMA, Warp-Spezialisierung, FP8), um bis zu 75 % des theoretischen FP16-Durchsatzes der H100 zu erreichen.
Die Lücke zwischen einem FlashAttention-fähigen Deployment (der Standard in vLLM, TensorRT-LLM, PyTorch SDPA) und einem naiven Kernel beträgt bei langem Kontext das 3- bis 10-Fache an GPU-Stunden — ein direkter Posten in jeder BTP-AI-Core-Kostenschätzung.

Kernpunkte

Mathematisch exakte Neuimplementierung von Scaled-Dot-Product-Attention — dieselbe Ausgabe wie naives softmax(QKᵀ/√d), drastisch weniger HBM-Speicherverkehr.
Kernmechanismus: kachelt Q/K/V blockweise in SRAM-residente Abschnitte (64-128 Zeilen) und nutzt eine Online-(streamende)-Softmax — materialisiert die n×n-Attention-Matrix nie im HBM.
FlashAttention 2 (Dao 2023): ~2-facher Speedup gegenüber v1 durch bessere Arbeitsaufteilung über CUDA-Thread-Blöcke hinweg und verbesserte Parallelität im Backward-Pass.
FlashAttention 3 (Shah et al. 2024): Hopper-spezifische Kernels mit asynchronen TMA-Kachelkopien + Warp-spezialisierten Producer/Consumer-Pipelines + optionalem FP8; erreicht bis zu ~75 % des theoretischen FP16-Spitzenwerts der H100.
Standard in PyTorch SDPA (torch.nn.functional.scaled_dot_product_attention), vLLM, TensorRT-LLM, llama.cpp und Hugging Face Transformers — Opt-in nur bei maßgeschneidertem Trainingscode nötig.
Kostenauswirkung auf BTP AI Core: FlashAttention-fähig vs. naive Attention bei Kontextlänge 4k+ = 3-10× weniger GPU-Stunden bei gleichem Query-Durchsatz; direkter Multiplikator auf die Kosten pro Token.
Die Speicherersparnis ermöglicht längeren Kontext beim gleichen GPU-RAM: Ein 7B-Modell, das 4k Kontext mit naiver Attention bedient, nutzt ~2× mehr Aktivierungsspeicher als mit FlashAttention — das ermöglicht größere Batch-Größen oder längeren Kontext auf derselben GPU.
Die SRAM-Blockgröße bestimmt den Kachel-Durchsatz: Blockgrößen sind darauf abgestimmt, in die 256 KB/SM SRAM der H100 zu passen; falsch ausgerichtete Blockgrößen (z. B. durch nicht passende Head-Dimension) verschlechtern die Performance auf ein nahezu naives Niveau.
FP8 (nur FlashAttention 3): halbiert die arithmetische Bandbreite gegenüber FP16 bei unter 1 % Genauigkeitsverlust bei den meisten Aufgaben in Kombination mit Absmax-Skalierung; Stand 2025 noch nicht in allen Frameworks Standard.
Für SAP-Analytics-Berater: Wenn der Kunde fragt, ‚warum ist unsere BTP-AI-Core-Rechnung so hoch', ist die erste Diagnose zu bestätigen, dass FlashAttention aktiv ist und die Kontextlängen nicht ungewollt den effizienten Bereich des eingesetzten Modells überschreiten.

Begriffe auf dieser Seite

HBM (High-Bandwidth Memory): Der GPU-externe Speicher, der Modellgewichte, Aktivierungen und KV-Cache hält. ~3 TB/s auf der H100 — schnell im Vergleich zu CPU-RAM, aber der Flaschenhals gegenüber On-Chip-SRAM. Standard-Attention macht 5-10 vollständige HBM-Lese-/Schreibvorgänge pro Forward Pass; FlashAttention reduziert das auf ~1.
SRAM (On-Chip Shared Memory): Der schnelle On-Chip-GPU-Cache (Shared Memory + L1), ~20 TB/s effektive Bandbreite, aber nur ~256 KB pro Streaming-Multiprozessor auf der H100. Die Blockgrößen von FlashAttention sind darauf abgestimmt, in den SRAM zu passen — der gesamte Wert des Algorithmus hängt von dieser Passung ab.
Online-Softmax: Ein numerisch stabiler, streamender Algorithmus, der Softmax inkrementell über Blöcke von Eingaben hinweg berechnet, ohne je den vollständigen Normalisierungsnenner zu materialisieren. Nutzt ein laufendes Maximum und einen an jeder Kachelgrenze angewendeten Korrekturfaktor. Der zentrale mathematische Trick, der die HBM-Vermeidung von FlashAttention ermöglicht.
TMA (Tensor Memory Accelerator): Eine Hopper-spezifische Hardware-Einheit, die große Tensorblöcke asynchron zwischen HBM und SRAM kopiert und dabei die Streaming-Multiprozessoren freigibt, um während des Transfers zu rechnen. Die primäre Hopper-spezifische Innovation von FlashAttention 3 — ermöglicht die Überlappung von Speicher und Berechnung, die 75 % H100-Auslastung erreicht.
Warp-Spezialisierung: Ein Hopper-Programmiermuster, bei dem verschiedene Warps innerhalb eines Thread-Blocks dauerhaft entweder der Datenladung (Producer) oder der Berechnung (Consumer) zugewiesen werden, was eine anhaltende Überlappung von TMA-Transfers und Matrixmultiplikationen ermöglicht. Wird von FlashAttention 3 genutzt.
IO-bewusster Algorithmus: Ein Algorithmus, der darauf ausgelegt ist, Lese- und Schreibvorgänge auf der langsamen Speicherebene (HBM) zu minimieren und den Speicherzugriff als primäre zu optimierende Kostengröße behandelt statt die Zahl der Gleitkommaoperationen. FlashAttention ist die kanonische IO-bewusste Implementierung von Attention.
SDPA (Scaled Dot-Product Attention): PyTorchs eingebaute Attention-Funktion (torch.nn.functional.scaled_dot_product_attention), die je nach Hardware und Eingabeform automatisch an FlashAttention, speichereffiziente Attention oder naive Mathematik weiterleitet. Der korrekte Einstiegspunkt für jedes maßgeschneiderte Modell, das PyTorch nutzt — der direkte Aufruf von softmax(QKᵀ) umgeht dieses Dispatching.
KV-Cache: Der Cache der Key- und Value-Tensoren vorheriger Token, den autoregressive Modelle bei der Inferenz nutzen, um eine Neuberechnung der Attention über den gesamten Kontext zu vermeiden. Die Speichereffizienz von FlashAttention ermöglicht direkt größere KV-Caches (= längeren bedienten Kontext) beim gleichen GPU-RAM-Budget.

Quellen

Vollständige Karte für Mitglieder. Was die vollständige Karte ergänzt: den vollständigen Entscheidungsrahmen · den Vergleich SAP · Snowflake · Databricks · Fabric · die häufigen Fallstricke und ihre Behebung · die Kurzreferenz · die Architekturschemata · die Codeblöcke · die zitierfähigen Kennzahlen.

In der App öffnen →