Konzeptkarte

Positionskodierung

Stand 2026-07-24T14:00:00Z

Redaktion: Cédric-Olivier Mâry, alleiniger Redakteur und verantwortlich für die Veröffentlichung — 27 Jahre im SAP-Ökosystem. Wie diese Seiten entstehen und wo Automatisierung eingesetzt wird.

Was ist Positionskodierung?

RoPE kodiert relative Position direkt in das Attention-Skalarprodukt, weshalb θ_base allein — 10.000 im ursprünglichen Transformer gegenüber 500.000 bei Llama 3.3 — der einzige Parameter ist, der 4K-Kohärenz von 128K-Kohärenz trennt.

Worum es geht

Positionskodierung ist der Mechanismus, der einem Transformer mitteilt, an welcher Stelle einer Sequenz sich jedes Token befindet; ohne sie hat das Modell keine Möglichkeit, „der Kunde eskalierte nach der Rechnung“ von „die Rechnung eskalierte nach dem Kunden“ zu unterscheiden — die Attention-Berechnung selbst ist eine Mengenoperation, blind für Reihenfolge, sofern diese nicht auf andere Weise eingebracht wird. Das betrifft unmittelbar alles, was in einem SAP-nahen Workflow auf einem großen Sprachmodell aufbaut: Eine Joule-Reasoning-Kette, die nachvollziehen muss, dass eine Zahlungsbedingung nach einer Vertragsänderung gilt, nicht davor, hängt vollständig davon ab, dass das Positionskodierungsschema bei den vom Deployment tatsächlich genutzten Kontextlängen korrekt funktioniert.

Warum es zählt

Ohne Positionskodierung ist Attention permutationsinvariant — „Der Umsatz sank in Q2 um 15 %“ und „der Umsatz sank um 15 % in Q2“ wären innerhalb einer Joule-Reasoning-Kette nicht unterscheidbar, ein konkretes Unternehmensrisiko.
Sinusförmige und gelernte absolute Kodierungen scheitern beide daran, über die Trainingslänge hinaus zu generalisieren — das schließt sie für jedes Long-Context-Enterprise-Deployment aus.
ALiBi tauscht nahezu keinen Inferenz-Overhead und robuste Längengeneralisierung gegen ~1-2 % MMLU-Kosten gegenüber RoPE bei 7B-Skala ein — ein realer, quantifizierter Kompromiss, den es abzuwägen gilt.

Kernpunkte

RoPE kodiert relative Position im Q·Kᵀ-Skalarprodukt — das Modell sieht Position i, die auf Position j über deren Winkeldifferenz achtet, nicht über absolute Indizes. Deshalb generalisieren RoPE-Modelle auf längere Sequenzen: Sie lernen nie absolute Positions-Nachschlagetabellen.
θ_base steuert die effektive Kontextlänge: θ=10.000 (Llama 1/2, Original) → effektiv ~4K; θ=500.000 (Llama 3.3) → effektiv 128K. Prüfen Sie θ_base immer, bevor Sie die vom Anbieter angegebene Kontextlänge akzeptieren — es ist die Ground Truth, nicht die Marketingzahl.
ALiBi addiert pro Attention-Head einen festen negativen linearen Bias, skaliert durch eine geometrische Folge von Steigungen — keine Parameter, kein Speicher-Overhead, generalisiert auf beliebige Längen. Die ~1-2 % MMLU-Einbuße bei 7B-Skala macht es zur richtigen Wahl, wenn Speicher die bindende Restriktion ist oder die Dokumentlänge wirklich unbegrenzt sein kann.
YaRN erreicht Kontexterweiterung ohne vollständiges Neutraining durch NTK-bewusste Interpolation: Es skaliert die RoPE-Frequenzkomponenten so neu, dass das Modell die erweiterte Sequenz als komprimierte Version der Trainingsverteilung wahrnimmt. Llama 3.1 wurde von 128K auf 1M Token erweitert bei <5 % Perplexitätsanstieg.
Sinusförmige und lernbare absolute Kodierungen scheitern beide daran, über die Trainingslänge hinaus zu generalisieren — sie sind die Baseline aus „Attention Is All You Need“ (Vaswani 2017) und sollten für kein SAP-Enterprise-Deployment gewählt werden, das auf Dokumente jenseits des Trainingsmaximums abzielt.
Der Produktionsstandard 2025-2026 ist RoPE mit hohem θ_base — jedes bedeutende Open-Source-Foundation-Modell nutzt es: Llama 3 (θ=500.000), Mistral (θ=1.000.000), Gemma 2 (θ=10.000 mit Sliding Window), Falcon 3 (RoPE). ALiBi wird von MPT und frühen BLOOM-Derivaten verwendet.
Für das Fine-Tuning eigener SAP-BDC-Agenten gilt: Nutzt das Basismodell RoPE und enthält der Fine-Tuning-Datensatz Sequenzen, die länger sind als der Trainingskontext des Basismodells, wenden Sie YaRN vor dem Fine-Tuning an — Fine-Tuning auf Sequenzen außerhalb des Bereichs ohne YaRN degradiert die positionale Kohärenz über die gesamte Länge.
Die praktische Folge von „Lost in the Middle“ (C155) und Positionskodierung wirken zusammen: Selbst bei einem korrekt konfigurierten RoPE-Modell mit 128K erhalten Einträge in der Mitte weniger Attention. Positionsbewusste Prompt-Strukturierung (kritischer Inhalt an den Rändern) ist eine ergänzende Abhilfe, die keine Änderung des Positionskodierungsschemas erfordert.
Multi-Head-Attention mit RoPE wendet auf die Dimensionspaare jedes Heads eine unterschiedliche Rotationsfrequenz an — Paare mit niedrigerer Dimension rotieren schneller (höhere Frequenz, erfasst kurzreichweitige Abhängigkeiten); Paare mit höherer Dimension rotieren langsam (niedrigere Frequenz, erfasst langreichweitige Abhängigkeiten). Deshalb handhabt RoPE lokalen und globalen Kontext innerhalb einer einzigen Attention-Schicht auf natürliche Weise.
Kontexterweiterung zur Inferenzzeit über Positionsinterpolation (der einfachere Ansatz vor YaRN) bildet Positionen jenseits der Trainingslänge linear auf den Trainingsbereich ab — das funktioniert bei moderaten Erweiterungen (2×), degradiert aber bei größeren Erweiterungen (8×), weil interpolierte Positionen mit der Semantik des Trainingsbereichs kollidieren, was der NTK-Ansatz von YaRN vermeidet.

Begriffe auf dieser Seite

RoPE (Rotary Position Embedding): Su et al. 2021: wendet auf die Q- und K-Vektoren jedes Attention-Heads eine positionsabhängige Rotationsmatrix an und kodiert relative Position direkt im Skalarprodukt. Der aktuelle De-facto-Standard für Long-Context-Transformer-Modelle.
θ_base: Basisfrequenzparameter in RoPE, der die Rotationsgeschwindigkeit steuert; höheres θ_base (500.000 bei Llama 3.3) ermöglicht einen längeren effektiven Kontext, bevor sich Positionsinformationen überschlagen oder mehrdeutig werden. Die Ground-Truth-Metrik zur Bewertung der effektiven Kontextlänge eines Modells.
ALiBi (Attention with Linear Biases): Press et al. 2022: addiert zu jedem Attention-Logit eine feste, zur Token-Distanz von Query und Key proportionale negative lineare Strafe, pro Head skaliert durch eine geometrische Folge. Null Parameter, kein Speicher-Overhead, generalisiert auf beliebige Längen — am besten geeignet für Streaming-Workloads unbegrenzter Länge.
YaRN (Yet another RoPE extensioN): Peng et al. 2023: NTK-bewusste Fine-Tuning-Technik, die RoPE-Frequenzkomponenten neu skaliert, um das effektive Kontextfenster eines trainierten Modells über seine Trainingslänge hinaus zu erweitern, bei weniger als 5 % Perplexitätsanstieg.
NTK-aware interpolation: Die Interpolationsstrategie in YaRN, die RoPE-Frequenzen mithilfe der Neural-Tangent-Kernel-Theorie neu skaliert, um das Positionskollisions-Artefakt naiver linearer Interpolation zu vermeiden, und eine zuverlässige 8-16-fache Kontexterweiterung ermöglicht.
Längengeneralisierung: Die Fähigkeit eines Positionskodierungsschemas, bei Sequenzen, die länger sind als die im Training gesehenen, kohärente Attention aufrechtzuerhalten. RoPE mit hohem θ_base und ALiBi generalisieren beide gut; sinusförmige und lernbare absolute Kodierungen tun dies nicht.
Sinusförmige Kodierung: Vaswani et al. 2017: addiert vor der ersten Transformer-Schicht feste sinusförmige Wellen unterschiedlicher Frequenz zu den Token-Embeddings. Die ursprüngliche Baseline-Kodierung — mathematisch elegant, scheitert aber empirisch daran, über die Trainingslänge hinaus zu generalisieren. Nicht für Enterprise-Long-Context-Workloads verwenden.
Lernbares absolutes Embedding: Eine positionsindizierte Nachschlagetabelle, die zusammen mit dem Modell trainiert wird — jeder Positionsindex wird auf einen gelernten Embedding-Vektor abgebildet. Scheitert daran, auf Positionen jenseits des Trainingsmaximums zu generalisieren, da diese Indizes nie in der Trainingsverteilung vorkamen.

Quellen

Vollständige Karte für Mitglieder. Was die vollständige Karte ergänzt: den vollständigen Entscheidungsrahmen · den Vergleich SAP · Snowflake · Databricks · Fabric · die häufigen Fallstricke und ihre Behebung · die Kurzreferenz · die Architekturschemata · die Codeblöcke · die zitierfähigen Kennzahlen.

In der App öffnen →