Transformer-Architektur für SAP-Praktiker

Was der Transformer tatsächlich ist und warum jeder erfahrene SAP-Analytics-Berater ein funktionierendes mentales Modell davon braucht, lässt sich auf eine Tatsache zurückführen: Er ist die neuronale Architektur, die jedem großen Sprachmodell im KI-Stack von SAP zugrunde liegt — Joule, den auf SAP AI Core gehosteten Modellen, dem BTP Generative AI Hub und jedem Drittanbietermodell, das SAP über seinen Foundation-Model-Hub weiterleitet. Sie müssen die Mathematik nicht von Grund auf herleiten, aber Sie müssen verstehen, was die Architektur ermöglicht, was sie teuer macht und wo sie versagt — denn diese drei Tatsachen bestimmen reale Entscheidungen zur Joule-Dimensionierung, zum Prompt-Design und zur Halluzinations-Triage.

Das Problem, das er löst

Vor den Transformern waren Sequenzmodelle rekurrent: Ein Netzwerk las einen Satz Token für Token und trug dabei einen versteckten Zustand weiter. Rekurrenz hat zwei strukturelle Schwächen. Sie lässt sich beim Training nicht parallelisieren, weil die Berechnung von Token N von der Ausgabe von Token N-1 abhängt — die Trainingszeit skaliert also mit der Sequenzlänge. Und sie vergisst: Abhängigkeiten über weite Distanzen klingen nach etwa 500 Token ab, sodass eine früh in einem Dokument genannte Tatsache am Ende praktisch unsichtbar ist. Der Transformer entfernt Rekurrenz vollständig. Jedes Token berücksichtigt gleichzeitig jedes andere Token in der Sequenz durch Self-Attention, was bedeutet, dass das Training über die gesamte Sequenz parallelisiert und die Erfassung von Abhängigkeiten im Prinzip unbegrenzt ist — begrenzt nur durch das Kontextfenster, das man sich zu berechnen leisten kann.

Warum es zählt

• Self-Attention (Q/K/V, softmax(QKᵀ/√d)) erlaubt es jedem Token, jedes andere zu beeinflussen — unabhängig von der Distanz —, anders als bei RNNs, die Abhängigkeiten nach etwa 512 Token verlieren.
• Faktisches Wissen liegt in der Feed-Forward-Teilschicht, nicht in den Attention-Gewichten — eine Unterscheidung, die bei der Entscheidung zwischen Fine-Tuning und RAG von Bedeutung ist.
• Joules Kontextfenster von 128.000 Token bedeutet, dass jedes darin enthaltene Token linear KV-Cache-Speicher verbraucht, und Fakten in der Mitte des Prompts werden ab etwa 32.000 Token weniger zuverlässig berücksichtigt („lost in the middle“).

Kernpunkte

• Self-Attention: Der Q·K-Score bestimmt, wie stark jedes Token jedes andere berücksichtigt; die Ausgabe ist eine gewichtete Summe der V-Vektoren. Multi-Head = h parallele Attention-Mechanismen.
• Die Feed-Forward-Teilschicht speichert faktisches Wissen; Attention-Köpfe spezialisieren sich auf syntaktische und semantische Beziehungstypen.
• RoPE-Positional-Encoding (LLaMA/Mistral) bewahrt relative Positionsinformationen bei langen Kontextlängen besser als absolute sinusförmige Methoden.
• Kontextfenster = maximale Token-Anzahl in einem Forward-Pass; Joule-Modelle auf dem BTP Generative AI Hub unterstützen 128.000 Token; der KV-Cache-Speicher skaliert linear mit der Kontextlänge.
• „Lost in the middle“-Effekt: Fakten in der Mitte eines Prompts von über 32.000 Token werden weniger zuverlässig berücksichtigt — gestalten Sie das RAG-Retrieval so, dass Schlüsselfakten an den Rändern des Prompts platziert werden.
• Multi-Head-Attention (z. B. h=96 bei GPT-4-Klasse-Modellen) ermöglicht es dem Modell, gleichzeitig unterschiedliche Beziehungstypen über denselben Kontext hinweg zu erfassen.

Begriffe auf dieser Seite

Self-Attention

Mechanismus, bei dem jedes Token mithilfe von Query-, Key- und Value-Projektionen eine gewichtete Repräsentation aller anderen Token berechnet; Score = softmax(QKᵀ/√d_k).

Multi-Head-Attention

h parallele Self-Attention-Köpfe, die sich jeweils auf unterschiedliche Beziehungstypen spezialisieren; die Ausgaben werden verkettet und linear projiziert.

RoPE

Rotary Position Embedding — kodiert relative Token-Position, indem Rotationsmatrizen auf Q und K angewandt werden, und verallgemeinert bei langen Kontexten besser als absolute Methoden.

Kontextfenster

Die maximale Anzahl an Token, die das Modell in einem Forward-Pass berücksichtigt; bestimmt die maximale Dokumentlänge, die in einem Joule-Aufruf verarbeitet werden kann.

Feed-Forward-Netzwerk (FFN)

Die pro Token angewandte zweischichtige MLP-Teilschicht nach der Attention in jedem Transformer-Block; empirisch der primäre Speicher des faktischen/parametrischen Wissens eines Modells — deshalb übertrifft RAG (Fakten zur Abfragezeit abrufen) beim Einbringen schnell wechselnder Unternehmensfakten meist Fine-Tuning (Umschreiben der FFN-Gewichte).

KV-Cache

Die zwischengespeicherten Key- und Value-Projektionstensoren jedes vorherigen Tokens einer Generierung; die tatsächliche GPU-Speicherbeschränkung hinter Kosten und Nebenläufigkeitsgrenzen eines selbst gehosteten Deployments — skaliert linear mit der offen gehaltenen Kontextlänge.

Lost in the Middle

Die dokumentierte Verschlechterung der Attention-Zuverlässigkeit bei Fakten in der Mitte eines langen Prompts (etwa jenseits von 32K Token) gegenüber Fakten ganz am Anfang oder Ende — ein Problem der Retrieval-Reihenfolge, kein im Modell zu behebender Fehler.

Document Grounding

Der Mechanismus von SAPs Orchestrierungsdienst (im Generative AI Hub), der vor dem LLM-Aufruf nur die für eine Anfrage relevanten Passagen abruft und einfügt, statt sich auf das rohe Kontextfenster des Modells zu verlassen — die Produktionsantwort auf Lost-in-the-Middle und das Wachstum der KV-Cache-Kosten.

Quellen

1. Vaswani et al. — Attention Is All You Need (2017)
2. SAP BTP Generative AI Hub documentation
3. Su et al. — RoFormer: Enhanced Transformer with Rotary Position Embedding (2021)
4. Liu et al. — Lost in the Middle: How Language Models Use Long Contexts (2023)
5. SAP Business AI — official product page
6. SAP Joule (work companion) — official product page
7. SAP Generative AI — official product page
8. SAP Help Portal — Generative AI Hub overview, SAP AI Core (2026)
9. Anthropic — Claude context windows documentation (2026)
10. Jiang et al. — Mistral 7B technical report, arXiv:2310.06825 (2023)
11. SAP Help Portal — Prompt Registry (2026)
12. Ainslie et al. — GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints (2023)
13. Shazeer — Fast Transformer Decoding: One Write-Head is All You Need (2019)