Training für langen Kontext — von 8.000 auf über 1 Million Tokens

Long-Context-Training ist die eigenständige Ingenieursarbeit, die ein Sprachmodell, das mit einer bescheidenen Kontextlänge gebaut und trainiert wurde — typischerweise 8.000 oder 32.000 Tokens —, auf die Fenster von 200.000 bis 2 Millionen Tokens erweitert, die Frontier-Modelle heute bewerben. Es ist kein einzelner Trick, sondern drei miteinander gekoppelte Probleme, die gemeinsam gelöst werden müssen: wie Positionsinformation weit über den Trainingsbereich hinaus erhalten bleibt, wie die Attention-Berechnung bei quadratischen Kosten handhabbar bleibt, und wie Trainingsdaten so konstruiert werden, dass das Modell tatsächlich lernt, über lange Spannen hinweg zu schlussfolgern, statt sie bloß auswendig zu lernen.

Positionskodierung: der erste Engpass

Rotary Position Embeddings, das dominierende Schema in modernen Decoder-only-Modellen, kodieren Position, indem sie Query- und Key-Vektoren um einen zur Token-Position proportionalen Winkel rotieren, bevor das Attention-Skalarprodukt berechnet wird. Die Rotationsfrequenz legt den Bereich fest, über den Positionsinformation kohärent bleibt, und ein naives Betreiben eines RoPE-basierten Modells über seine Trainingslänge hinaus verschlechtert die Ausgabequalität stark, weil das Modell in Rotationswinkel extrapoliert, die es während des Trainings nie gesehen hat. Drei Techniken adressieren dies. Position Interpolation komprimiert den Positionsindex, sodass eine längere Sequenz zurück in den Frequenzbereich abgebildet wird, für den das Modell trainiert wurde. NTK-aware Scaling passt die Rotationsbasis an, um die hochfrequenten Komponenten zu erhalten, die feingranulare Positionsdetails tragen. YaRN kombiniert NTK-artige Skalierung mit einer Temperaturkorrektur der Attention selbst und ist zum 2026er-Standardrezept geworden, um ein 8.000-Token-Basismodell mit nur wenigen Hundert Fine-Tuning-Schritten statt einem vollständigen Retraining auf 128.000 Tokens und darüber hinaus zu strecken.

Warum es zählt

• Naive RoPE-Extrapolation verschlechtert sich stark über die Trainingslänge hinaus — YaRN (NTK-Skalierung + Attention-Temperaturkorrektur) ist der 2026er-Standard, um ein 8K-Basismodell in wenigen Hundert Fine-Tuning-Schritten auf 128K+ zu strecken.
• Ring Attention teilt die Sequenz in einer Ring-Topologie über GPUs auf, was konkret der Grund ist, warum Training mit 1M+ Kontext auf einem 64-GPU-Cluster handhabbar wird, statt Petabytes an Attention-Speicher zu erfordern.
• Zufälliges Aneinanderhängen von Dokumenten für Trainingsdaten erzeugt ein Modell, das lange Sequenzen auswendig lernt, aber nicht über sie schlussfolgern kann — Curriculum-Daten (buchlange Texte, mehrdokumentige QA-Ketten) sind es, was tatsächlich nutzbare Long-Context-Fähigkeit aufbaut.

Kernpunkte

• Drei gekoppelte Komponenten — Extrapolation der Positionskodierung (YaRN, NTK, PI), Attention-Berechnung (FlashAttention-3, Ring Attention), Trainingsdaten-Curriculum.
• RoPE-Erweiterung — YaRN ist der 2026er-Standard; bringt ein 8K-Basismodell mit wenigen Hundert Fine-Tuning-Schritten bei minimalem Qualitätsverlust auf 128K+.
• Attention-Skalierung — volle Self-Attention ist O(N²); Ring Attention teilt die Sequenz über GPUs auf und rotiert KV-Blöcke, um Training mit 1M+ Kontext zu ermöglichen.
• Daten-Curriculum — Long-Context-Trainingsdaten aus buchlangen Texten, Code-Repositories, mehrdokumentiger QA synthetisieren; in der Fine-Tuning-Phase 8K → 32K → 128K steigern.
• Evaluation — Needle-in-Haystack (NIAH) und RULER-Benchmarks; die Long-Context-Genauigkeit verschlechtert sich nicht-monoton — bei jeder geplanten Kontextlänge testen.
• SAPs Orchestration Service implementiert „Grounding“ als verwaltete RAG-Pipeline (Dokument-/DB-Grounding), nicht als Long-Context-Prompt-Stopfmuster — genau damit SAPs Data Access Controls pro abgerufenem Fragment durchgesetzt werden können, was ein riesiger Einzelprompt nicht leisten kann.
• Aktuelle Claude-Modelle, von Joule über die SAP-Anthropic-MCP-Integration erreichbar, bieten Kontextfenster bis zu 1 Mio. Tokens (Sonnet 5, Opus 5.5/5.5; Haiku 4.5 bei 200.000) — echter Spielraum für die holistische Prüfung eines einzelnen Dokuments, kein Grund, Retrieval für governte Unternehmenskorpora aufzugeben.
• Ein größeres angegebenes Fenster hebt nicht die Notwendigkeit auf, den Rückruf bei der tatsächlich genutzten Länge zu testen — die Nadel-in-der-Mitte-Verschlechterung ist eine Eigenschaft des Attention-Mechanismus, keine Marketingzahl eines einzelnen Anbieters.

Begriffe auf dieser Seite

RoPE (Rotary Position Embedding)

Positionskodierungsschema, das Query- und Key-Vektoren um einen zu ihrer Position proportionalen Winkel rotiert; dominiert 2026er-LLMs, weil es besser extrapoliert als absolute oder sinusoidale Kodierungen.

YaRN

Yet another RoPE extensioN; eine 2023 eingeführte Technik, die NTK-bewusste Frequenzskalierung mit Attention-Temperaturkorrektur kombiniert; der 2026er-Standard, um vortrainierte Kontextfenster um das 16- bis 32-Fache zu erweitern.

Ring Attention

Verteilter Attention-Algorithmus (Liu et al. 2023), der die Sequenz über N GPUs aufteilt und Key-Value-Blöcke in einer Ring-Topologie rotiert, sodass jede GPU über N Kommunikationsrunden den vollständigen Kontext sieht; ermöglicht Training mit 1M+ Tokens.

Needle-in-Haystack (NIAH)

Long-Context-Evaluation, die eine Zielfakt an einer zufälligen Position in einem langen Ablenkungsdokument platziert und misst, ob das Modell sie abruft; die grundlegende Plausibilitätsprüfung für Long-Context-Fähigkeit.

Position interpolation

Eine RoPE-Erweiterungstechnik, die den Positionsindex einer längeren Sequenz komprimiert, sodass er wieder in den Rotationsfrequenzbereich fällt, auf dem das Modell ursprünglich trainiert wurde; einfacher als YaRN, verschlechtert aber feingranulare Positionsdetails stärker.

NTK-aware scaling

Eine RoPE-Erweiterungstechnik, die die Rotationsbasis anpasst, um hochfrequente (feingranulare) Positionskomponenten zu erhalten, während der nutzbare Bereich erweitert wird; eine der zwei Zutaten, die YaRN mit einer Attention-Temperaturkorrektur kombiniert.

Attention thinning / lost-in-the-middle

Der empirisch beobachtete Rückgang der Abrufgenauigkeit für Fakten in der Mitte eines sehr langen Prompts, selbst wenn dieselben Fakten nahe Anfang oder Ende zuverlässig abgerufen werden (Liu et al., 2023); der Grund, warum ein groß angegebenes Kontextfenster keinen gleichmäßigen Rückruf über seine gesamte Länge garantiert.

Quellen

1. arXiv: YaRN — Efficient Context Window Extension of Large Language Models (Peng et al. 2023)
2. arXiv: Ring Attention with Blockwise Transformers for Near-Infinite Context (Liu et al. 2023)
3. arXiv: RoFormer — Enhanced Transformer with Rotary Position Embedding (Su et al. 2021)
4. Anthropic Engineering — long-context internals
5. arXiv — Shah et al., "FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision" (2024, fetched 2026-09-27)
6. arXiv — Hsieh et al., "RULER: What's the Real Context Size of Your Long-Context Language Models?" (2024, fetched 2026-09-27)
7. arXiv — Liu et al., "Lost in the Middle: How Language Models Use Long Contexts" (TACL 2023, fetched 2026-09-27)
8. arXiv — Gemini Team, Google, "Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context" (2024, fetched 2026-09-27)
9. Claude Docs — Context windows (current model context-window limits), fetched 2026-09-27
10. SAP Help Portal — Orchestration service (document/DB grounding) in the generative AI hub, SAP AI Core (fetched 2026-09-27)
11. SAP Community — Why SAP needs a Knowledge Graph: giving enterprise AI a map of the business (2026, fetched 2026-09-27)
12. SAP News Center — SAP and Anthropic to bring Claude to the SAP Business AI Platform (2026-05-12)