LayerNorm und RMSNorm

Worum es geht

LayerNorm und RMSNorm sind Normalisierungsschichten, die die Verteilung der Aktivierungen über die Feature-Dimension jedes Tokens in jeder Schicht des Transformers stabilisieren. Sie sind keine optionalen Ergänzungen — ohne sie divergieren tiefe Transformer (>12 Schichten) beim Training bereits innerhalb der ersten tausend Schritte.

Das Problem, das sie lösen, ist Internal Covariate Shift: Während Aktivierungen durch viele Matrixmultiplikationen fließen, wächst oder schrumpft ihre Skalierung exponentiell, was Nichtlinearitäten sättigt und explodierende oder verschwindende Gradienten verursacht. Normalisierung verankert den Feature-Vektor jedes Tokens auf einer stabilen Skala, bevor er in die Attention- und FFN-Teilschichten eintritt.

LayerNorm (Ba 2016) berechnet γ⊙((x−μ)/(σ+ε))+β, indem der Mittelwert μ subtrahiert und durch die Standardabweichung σ geteilt wird, gefolgt von der Anwendung der gelernten Skalierung γ und des Bias β. RMSNorm (Zhang 2019) verzichtet auf die Mittelwertsubtraktion: γ⊙(x/RMS(x)), wobei RMS(x) = √(∑xᵢ²/n). Auch der Bias-Term β entfällt. Dadurch ist RMSNorm 7–15 % rechnerisch günstiger als LayerNorm, bei vernachlässigbarem Qualitätsverlust bei der Sprachmodellierung — weshalb Llama, Mistral, Qwen und alle großen modernen LLMs RMSNorm verwenden. Pre-Norm (x + Sublayer(Norm(x))) wendet die Normalisierung vor der Teilschicht an, ermöglicht den Gradientenfluss bis in sehr frühe Schichten und macht Tiefen jenseits von 80 Schichten stabil — alle modernen LLMs verwenden Pre-Norm. Post-Norm (Norm(x + Sublayer(x))) wendet sie danach an und war das ursprüngliche Design von Vaswani 2017; es erfordert sorgfältiges Learning-Rate-Warmup und scheitert ohne dieses bei einer Tiefe von über 24 Schichten.

Wählen Sie RMSNorm mit Pre-Norm für jede neue Transformer-Implementierung. Verwenden Sie LayerNorm nur zur Kompatibilität mit Modellen aus der BERT-Ära oder beim Import vortrainierter Gewichte, die dies erfordern.

Warum es zählt

• Tiefe Transformer (>12 Schichten) divergieren beim Training ohne Normalisierung bereits innerhalb der ersten tausend Schritte — das ist keine Optimierung, sondern eine harte Anforderung.
• Der Nutzen von Pre-Norm für den Gradientenfluss zeigt sich in seiner Wirkung: Es ist das, was Tiefen jenseits von 80 Schichten überhaupt stabil macht.
• Post-Norm (das ursprüngliche Design von 2017) scheitert ohne sorgfältiges Learning-Rate-Warmup bei Tiefen jenseits von 24 Schichten — relevant nur für Kompatibilitätsarbeiten aus der BERT-Ära.

Kernpunkte

• RMSNorm verzichtet gegenüber LayerNorm auf Mittelwertsubtraktion und Bias — 7–15 % weniger FLOPs, vernachlässigbarer Qualitätsverlust.
• Die Pre-Norm-Platzierung (Normalisierung vor der Teilschicht) ermöglicht stabiles Training jenseits von 80 Schichten; Post-Norm erfordert sorgfältiges Warmup.
• Llama 3.3 wendet RMSNorm an 3 Positionen pro Schicht an: input_layernorm (vor MHSA), post_attention_layernorm (vor FFN) und model.norm (finale Ausgabe).
• Das γ-Gewicht von RMSNorm ist der Skalierungsvektor — große γ-Werte weisen auf Features mit hoher Varianz hin, die empfindlich auf Quantisierung reagieren.
• INT8-KV-Quantisierung interagiert mit der Normalisierung: Eine dynamische Quantisierung pro Token ist erforderlich, wenn γ zwischen Token stark variiert.
• Die gröbere Mantisse des bf16-Trainings macht die einfachere Arithmetik von RMSNorm (ohne gleitende Mittelwertsubtraktion) merklich weniger anfällig für Auslöschungsfehler als LayerNorm bei extremen Sequenzpositionen — einer der unterschätzten Gründe, warum es LayerNorm ablöste, sobald bf16 nach 2022 zum Standard-Trainingsformat wurde.
• Bei extremer Tiefe (Wang et al.s DeepNet erreichte 1.000 Schichten) kontrolliert reine Pre-Norm das Wachstum der Residualstrom-Varianz unzureichend; DeepNorm (ein bei der Initialisierung fixierter konstanter Skalierungsfaktor α für den Residualzweig) und die „Sandwich-Norm“ (Normalisierung vor UND nach jeder Teilschicht, verwendet in Gemma 2) sind die beiden dokumentierten Lösungen jenseits reiner Pre-Norm.

Begriffe auf dieser Seite

LayerNorm

Normalisierungsschicht (Ba 2016), die den Mittelwert subtrahiert und durch die Standardabweichung des Feature-Vektors jedes Tokens teilt, dann die gelernte Skalierung γ und den Bias β anwendet.

RMSNorm

Root Mean Square Normalisierung (Zhang 2019): normalisiert nur über den RMS, verzichtet auf Mittelwertsubtraktion und Bias-Term, 7–15 % günstiger als LayerNorm.

Pre-Norm

Platzierung der Normalisierungsschicht am EINGANG jeder Teilschicht: x + Sublayer(Norm(x)). Von allen modernen LLMs für Trainingsstabilität in der Tiefe verwendet.

Post-Norm

Platzierung der Normalisierung am AUSGANG jeder Teilschicht: Norm(x + Sublayer(x)). Ursprüngliches Design von Vaswani 2017; erfordert sorgfältiges Learning-Rate-Warmup.

Internal covariate shift

Veränderung der Verteilung der Schichteingaben während des Trainings, wenn sich die Parameter aktualisieren; Normalisierungsschichten mildern dies, um den Gradientenfluss zu stabilisieren.

Quellen

1. Ba et al. 2016 — Layer Normalisation
2. Zhang & Sennrich 2019 — Root Mean Square Layer Normalisation
3. Wang et al. 2020 — On Layer Normalisation in the Transformer Architecture (pre-norm analysis)
4. Meta AI — Llama 3 Model Card
5. AutoGPTQ documentation — quantisation and outlier handling
6. SAP Generative AI — official product page
7. Meta AI — Llama model research
8. SAP Help Portal — Generative AI Hub in SAP AI Core, model library overview (2026)
9. SAP Help Portal — Orchestration service, prompting vs fine-tuning guidance (2026)
10. Wang et al. — DeepNet: Scaling Transformers to 1,000 Layers, arXiv:2203.00555 (2022)
11. PyTorch documentation — torch.nn.LayerNorm reference
12. Jiang et al. — Mistral 7B technical report, arXiv:2310.06825 (2023)