Konzeptkarte

Kontextfenster-Mechanik

Stand 2026-07-23

Redaktion: Cédric-Olivier Mâry, alleiniger Redakteur und verantwortlich für die Veröffentlichung — 27 Jahre im SAP-Ökosystem. Wie diese Seiten entstehen und wo Automatisierung eingesetzt wird.

Was ist Kontextfenster-Mechanik?

Eine Verdopplung der Kontextlänge vervierfacht den Attention-Rechenaufwand (O(n²)) und kann den KV-Cache einer einzelnen Anfrage bei einem 70B-Modell bei 128K Token auf rund 42 GB treiben — noch vor den Modellgewichten — wodurch ein langer Kontext zu einer Hardware-Budget-Entscheidung wird, nicht zu einer kostenlosen Einstellung.

Worum es geht

Das Kontextfenster ist die maximale Anzahl an Token, denen ein LLM in einem einzigen Forward-Pass gleichzeitig Aufmerksamkeit schenken kann. Es bestimmt, welche Informationen das Modell bei der Erzeugung jedes Ausgabe-Tokens „sehen" kann, und entscheidet darüber, ob eine Aufgabe in einem einzigen Aufruf bewältigt werden kann oder Chunking-Strategien wie RAG oder Sliding-Window-Overlap erfordert.

Das Problem, das es adressiert: Nützliche Unternehmensdokumente — ABAP-Klassendateien, Beschaffungsverträge, Geschäftsberichte — überschreiten routinemäßig 8.000 Token, sodass naives Abschneiden kritischen Kontext verliert und naive Aneinanderreihung die Kapazität des Modells sprengt. Für SAP-Analytics-Consultants ist das direkt relevant: Ein Joule-Agent, der über eine vollständige Instandhaltungshistorie einer Anlage (potenziell 200+ Seiten an Serviceaufträgen) räsoniert, oder eine BDC-Pipeline, die vollständige SAP-HANA-Tabellen über Datasphere einliest, muss Volumina bewältigen, die selbst 128K-Token-Modelle an ihre Grenzen bringen.

Warum es zählt

FlashAttention-2 ist das, was 128K-Inferenz überhaupt praktikabel macht — es begrenzt den Aktivierungsspeicher durch gekachelte SRAM-Berechnung auf O(n) statt O(n²).
Bei „Lost in the Middle" fällt die Retrieval-Genauigkeit von ~95 % an den Rändern des Kontexts auf ~60 % in der Mitte bei 100K Token — lange Fenster garantieren keine gleichmäßige Attention-Qualität, ein reales Risiko für dokumentenlastige Joule-Anwendungsfälle.
Direkt relevant für SAP: Vollständige Instandhaltungshistorien (200+ Seiten) oder die vollständige Einlesung von HANA-Tabellen über Datasphere bringen selbst 128K-Token-Modelle routinemäßig an ihre Grenzen.

Kernpunkte

KV-Cache-Speicherformel: 2 × n_layers × n_kv_heads × d_head × seq_len × batch × dtype_bytes — jedes Eingabefeld ist eine Variable, die ein Architekt für das Zielmodell und die Sequenzlänge dimensionieren muss.
Llama 3.3 70B bei 128K Token, batch=1, BF16: ~42 GB allein für den KV-Cache, was mindestens zwei H100-80-GB-GPUs erfordert — noch bevor die 140 GB Modellgewichte berücksichtigt sind.
„Lost in the Middle" (Liu et al. 2023): Die Retrieval-Genauigkeit fällt von ~95 % an den Rändern des Kontexts auf ~60 % für Elemente in der Mitte eines 100K-Token-Kontexts — platzieren Sie Ihre wichtigsten Fakten am Anfang oder Ende des Prompts.
FlashAttention-2 reduziert den Aktivierungsspeicher von O(n²) auf O(n), indem die Attention-Berechnung im SRAM gekachelt wird — die Schlüsseltechnologie für praktikable 128K-Inferenz auf aktueller Hardware.
YaRN erweitert ein trainiertes RoPE-Modell von seinem Trainingskontext auf einen größeren Inferenzkontext (Llama 3.1: 128K → 1M) bei einem Perplexitäts-Anstieg von unter 5 %, indem die RoPE-θ-Werte per NTK-Interpolation neu skaliert werden.
RoPE θ_base steuert die effektive Kontextlänge: θ=10.000 (ursprünglich) → ~4K effektiv; θ=500.000 (Llama 3.3) → 128K effektiv — prüfen Sie bei der Bewertung der angegebenen Kontextlänge eines Modells, welcher θ_base beim Training verwendet wurde.
Für SAP BDC: Das Hybridmuster aus RAG und Long-Context ist die Standardarchitektur — RAG verengt die Kandidatenmenge auf unter 32K Token, das Long-Context-Modell räsoniert über die reduzierte Menge für ganzheitliche Kohärenz.
SAP Joule nutzt ein über SAP AI Core gehostetes Long-Context-Modell; der effektiv verfügbare Kontext für einen Joule-Agenten-Prompt wird durch System-Prompt, Tool-Call-Overhead und Konversationsverlauf reduziert — kalkulieren Sie 30–40 % des angegebenen Kontextfensters für Nicht-Nutzer-Inhalte ein.
Chunking-Strategien für Dokumente, die das Kontextfenster überschreiten: Fixed-Size-Overlap (am einfachsten, verliert chunk-übergreifende Entitäten), semantisches Chunking (Aufteilung an Absatz-/Abschnittsgrenzen), hierarchisches Chunking (Zusammenfassung auf oberster Ebene, Detail bei Abruf) — die richtige Strategie hängt davon ab, ob das Dokument klare semantische Abschnitte hat.
Kostenimplikation: Long-Context-Inferenz ist deutlich teurer als Short-Context — 128K-Token-Aufrufe kosten typischerweise 8- bis 16-mal mehr pro Aufruf als 8K-Token-Aufrufe in derselben Modellklasse; gestalten Sie Workflows so, dass unnötige Long-Context-Aufrufe vermieden werden.

Begriffe auf dieser Seite

Kontextfenster: Maximale Anzahl an Token, die ein LLM in einem Forward-Pass verarbeitet; bestimmt den Informationshorizont für die Generierung und legt die Architekturentscheidung zwischen Einzelaufruf und Chunking-Strategien fest.
KV cache: Gespeicherte Key- und Value-Matrizen aus allen vorherigen Sequenzpositionen, die eine inkrementelle Token-Generierung in O(1) ermöglichen, ohne vergangene Attention neu zu berechnen — die dominante Speicherkostenquelle bei Long-Context-Inferenz.
FlashAttention-2: IO-bewusster Attention-Algorithmus (Dao 2023), der die Berechnung kachelt, um im SRAM zu bleiben, und dadurch HBM-Lesezugriffe und Aktivierungsspeicher von O(n²) auf O(n) reduziert; die Schlüsseltechnologie für praktikable 128K-Inferenz auf A100/H100.
Lost in the middle: Empirischer Befund (Liu et al. 2023), wonach die Retrieval-Genauigkeit eines LLM von ~95 % an den Rändern eines langen Kontexts auf ~60 % im Mittelpunkt fällt — kritische Informationen sollten am Anfang oder Ende des Prompts platziert werden.
YaRN: Yet another RoPE extensioN (Peng 2023): NTK-skaliertes Fine-Tuning, das das effektive Kontextfenster eines trainierten RoPE-Modells über seine Trainingslänge hinaus erweitert, bei einem Perplexitäts-Anstieg von unter 5 %.
RoPE θ_base: Basisfrequenzparameter in Rotary Position Embedding, der die Rotationsgeschwindigkeit von Q/K-Vektoren steuert; ein höherer θ_base (500.000 bei Llama 3.3) ermöglicht einen längeren effektiven Kontext, bevor sich die Positionsinformation wiederholt.
Semantisches Chunking: Chunking-Strategie, die Dokumente an natürlichen semantischen Grenzen (Absätze, Abschnitte, Überschriften) statt an fixen Token-Anzahlen aufteilt — bewahrt satzübergreifende Kohärenz auf Kosten variabler Chunk-Größen.
Hierarchisches Chunking: Chunking-Strategie, die Dokumentzusammenfassungen auf oberster Ebene und detaillierte Passagen auf einer untergeordneten Ebene speichert; das Retrieval findet zunächst die relevante Zusammenfassung und ruft dann die zugehörige Detailpassage ab — reduziert unnötige Long-Context-Aufrufe.

Quellen

Vollständige Karte für Mitglieder. Was die vollständige Karte ergänzt: den vollständigen Entscheidungsrahmen · den Vergleich SAP · Snowflake · Databricks · Fabric · die häufigen Fallstricke und ihre Behebung · die Kurzreferenz · die Architekturschemata · die Codeblöcke · die zitierfähigen Kennzahlen.

In der App öffnen →