Konzeptkarte

Transformer-Architektur

Stand 2026-07-24T14:00:00Z

Redaktion: Cédric-Olivier Mâry, alleiniger Redakteur und verantwortlich für die Veröffentlichung — 27 Jahre im SAP-Ökosystem. Wie diese Seiten entstehen und wo Automatisierung eingesetzt wird.

Was ist Transformer-Architektur?

Jedes produktive LLM im Jahr 2026 folgt demselben zweischichtigen Muster — Self-Attention, skaliert mit 1/√d_h, gefolgt von einem Feed-Forward-Netzwerk mit 4-facher Erweiterung — mit Pre-Norm und SwiGLU/RMSNorm als modernen Standardeinstellungen, die Modelle mit über 100 Schichten überhaupt trainierbar gemacht haben.

Der Transformer ist die neuronale Netzwerkarchitektur, die moderne generative KI überhaupt erst möglich gemacht hat. Eingeführt von Vaswani und sieben Koautoren bei Google im Jahr 2017 im Paper „Attention Is All You Need“, ersetzte er die rekurrente Verarbeitung von RNNs und LSTMs durch einen Mechanismus namens Self-Attention, der es jedem Token in einer Sequenz erlaubt, gleichzeitig auf jedes andere Token zu blicken. Diese einzige architektonische Entscheidung ist der Grund, warum jedes heute produktiv eingesetzte Frontier-Sprachmodell — GPT-4, Claude, Gemini, Llama — auf einer Transformer-Variante aufbaut, und warum der Transformer für eine SAP-Analytics-Führungskraft ebenso wichtig ist, wie es der spaltenorientierte Speicher von HANA vor einem Jahrzehnt war: Er ist das Substrat, auf dem alles Übrige aufsitzt.

Warum es für SAP-Praktiker wichtig ist

Sie müssen keinen Transformer implementieren, um mit Joule, SAP AI Core oder einer RAG-Pipeline zu arbeiten, die Sie für einen Kunden entwerfen. Aber das Verständnis seiner Form verändert, wie Sie ein Projekt bemessen. Kontextfenstergrenzen, warum längere Prompts mehr kosten und langsamer laufen, warum ein Modell den Anfang eines langen Dokuments „vergisst“, warum Fine-Tuning teuer und Quantisierung günstig ist — all das lässt sich auf bestimmte Komponenten des Transformer-Forward-Pass zurückführen. Ein Architekt, der erklären kann, warum die Attention-Kosten quadratisch mit der Sequenzlänge wachsen, wird eine Joule-Grounding-Pipeline korrekt dimensionieren; wer das Modell als undurchsichtige Blackbox behandelt, wird das nicht.

Warum es zählt

Der Skalierungsfaktor 1/√d_h ist es, der die Softmax-Gradienten gut konditioniert hält — der mathematische Grund, warum tiefe Attention-Stapel nicht explodieren.
Pre-Norm vs. Post-Norm ist eine wirklich tragende Entscheidung: Pre-Norm eliminiert verschwindende Gradienten und macht Learning-Rate-Warmup bei großer Tiefe überflüssig.
SwiGLU schlägt ReLU um ~1 Perplexitätspunkt bei gleichem Rechenaufwand — eine kleine, aber echte, quantifizierte Architekturentscheidung, die von Llama 3 genutzt wird.

Kernpunkte

Transformer = Embedding + L × (MHSA + FFN) + Residual + Norm; keine Rekurrenz, vollständig parallel.
Self-Attention: Attention(Q,K,V) = softmax(QKᵀ/√d_h)V — die Skalierung mit √d_h ist essenziell für die Gradientenstabilität.
Multi-Head: H parallele Attention-Heads mit jeweiliger Dimension d_h = d/H; Ausgaben werden konkateniert und dann projiziert.
Die FFN-Teilschicht erweitert auf 4d und projiziert dann zurück; moderne Modelle nutzen SwiGLU statt ReLU.
Pre-Norm (LayerNorm vor der Teilschicht) ist in Produktionsmodellen universell; Post-Norm war das Original von 2017.
Die kausale Maske setzt die oberen Dreiecks-Logits auf -∞ und ermöglicht autoregressive Generierung bei voller Trainingsparallelität.
FLOPs ≈ 2NT pro Forward-Pass; Llama 3.3 70B bei 4096 Token ≈ 573 GFLOPs.
FlashAttention eliminiert den O(n²)-Speicherengpass, indem Attention im SRAM gekachelt wird — Voraussetzung für 128K+ Kontexte.
Transformer-Architektur ist erst beherrscht, wenn sie eine benannte Käuferentscheidung verändert.
Beginnen Sie mit dem semantischen Vertrag und dem Kontrollmodell, bevor Sie das Tool vorführen.

Begriffe auf dieser Seite

Self-attention: Mechanismus, bei dem jedes Token jedem anderen Token in der Sequenz Aufmerksamkeit schenkt — Q-, K-, V-Projektionen aus derselben Eingabe.
Multi-head attention (MHSA): Ausführung von H parallelen Self-Attention-Heads über Teilräume der Dimension d/H, mit anschließender Konkatenation der Ergebnisse.
Residual connection: Addition der Eingabe der Teilschicht auf deren Ausgabe: h + Sublayer(h) — verhindert verschwindende Gradienten in tiefen Stapeln.
Pre-norm: Anwendung von LayerNorm vor statt nach der Teilschicht; in modernen Modellen universell für die Trainingsstabilität.
Causal mask: Obere Dreiecksmaske mit -∞ auf den Attention-Logits, die sicherstellt, dass Token i nicht auf j > i zugreifen kann — macht das Modell autoregressiv.
FFN (feed-forward network): Positionsweises zweischichtiges MLP mit 4d Zwischendimension; hier liegt der Großteil der Transformer-Parameter.
SwiGLU: Gated-Linear-Unit-Aktivierung: FFN(x) = (xW₁ ⊙ sigmoid(xW_g))W₂ — in Llama 3 für eine Verbesserung von ~1 ppl gegenüber ReLU eingesetzt.
FlashAttention: IO-bewusster Attention-Kernel (Dao et al. 2022), der die Berechnung im SRAM kachelt, um die O(n²)-Speichermaterialisierung zu vermeiden.

Quellen

Vollständige Karte für Mitglieder. Was die vollständige Karte ergänzt: den vollständigen Entscheidungsrahmen · den Vergleich SAP · Snowflake · Databricks · Fabric · die häufigen Fallstricke und ihre Behebung · die Kurzreferenz · die Architekturschemata · die Codeblöcke · die zitierfähigen Kennzahlen.

In der App öffnen →