Konzeptkarte

Transformer-Architektur für SAP-Praktiker

Stand 2026-07-24T14:00:00Z

Redaktion: Cédric-Olivier Mâry, alleiniger Redakteur und verantwortlich für die Veröffentlichung — 27 Jahre im SAP-Ökosystem. Wie diese Seiten entstehen und wo Automatisierung eingesetzt wird.

Was ist Transformer-Architektur für SAP-Praktiker?

Der Transformer ersetzt Rekurrenz durch Self-Attention, sodass jedes Token jedes andere Token parallel berücksichtigen kann — der Grund, warum das Kontextfenster von Joule Geld kostet und RAG Fine-Tuning meist überlegen ist.

Was der Transformer tatsächlich ist und warum jeder erfahrene SAP-Analytics-Berater ein funktionierendes mentales Modell davon braucht, lässt sich auf eine Tatsache zurückführen: Er ist die neuronale Architektur, die jedem großen Sprachmodell im KI-Stack von SAP zugrunde liegt — Joule, den auf SAP AI Core gehosteten Modellen, dem BTP Generative AI Hub und jedem Drittanbietermodell, das SAP über seinen Foundation-Model-Hub weiterleitet. Sie müssen die Mathematik nicht von Grund auf herleiten, aber Sie müssen verstehen, was die Architektur ermöglicht, was sie teuer macht und wo sie versagt — denn diese drei Tatsachen bestimmen reale Entscheidungen zur Joule-Dimensionierung, zum Prompt-Design und zur Halluzinations-Triage.

Das Problem, das er löst

Vor den Transformern waren Sequenzmodelle rekurrent: Ein Netzwerk las einen Satz Token für Token und trug dabei einen versteckten Zustand weiter. Rekurrenz hat zwei strukturelle Schwächen. Sie lässt sich beim Training nicht parallelisieren, weil die Berechnung von Token N von der Ausgabe von Token N-1 abhängt — die Trainingszeit skaliert also mit der Sequenzlänge. Und sie vergisst: Abhängigkeiten über weite Distanzen klingen nach etwa 500 Token ab, sodass eine früh in einem Dokument genannte Tatsache am Ende praktisch unsichtbar ist. Der Transformer entfernt Rekurrenz vollständig. Jedes Token berücksichtigt gleichzeitig jedes andere Token in der Sequenz durch Self-Attention, was bedeutet, dass das Training über die gesamte Sequenz parallelisiert und die Erfassung von Abhängigkeiten im Prinzip unbegrenzt ist — begrenzt nur durch das Kontextfenster, das man sich zu berechnen leisten kann.

Warum es zählt

Self-Attention (Q/K/V, softmax(QKᵀ/√d)) erlaubt es jedem Token, jedes andere zu beeinflussen — unabhängig von der Distanz —, anders als bei RNNs, die Abhängigkeiten nach etwa 512 Token verlieren.
Faktisches Wissen liegt in der Feed-Forward-Teilschicht, nicht in den Attention-Gewichten — eine Unterscheidung, die bei der Entscheidung zwischen Fine-Tuning und RAG von Bedeutung ist.
Joules Kontextfenster von 128.000 Token bedeutet, dass jedes darin enthaltene Token linear KV-Cache-Speicher verbraucht, und Fakten in der Mitte des Prompts werden ab etwa 32.000 Token weniger zuverlässig berücksichtigt („lost in the middle“).

Kernpunkte

Self-Attention: Der Q·K-Score bestimmt, wie stark jedes Token jedes andere berücksichtigt; die Ausgabe ist eine gewichtete Summe der V-Vektoren. Multi-Head = h parallele Attention-Mechanismen.
Die Feed-Forward-Teilschicht speichert faktisches Wissen; Attention-Köpfe spezialisieren sich auf syntaktische und semantische Beziehungstypen.
RoPE-Positional-Encoding (LLaMA/Mistral) bewahrt relative Positionsinformationen bei langen Kontextlängen besser als absolute sinusförmige Methoden.
Kontextfenster = maximale Token-Anzahl in einem Forward-Pass; Joule-Modelle auf dem BTP Generative AI Hub unterstützen 128.000 Token; der KV-Cache-Speicher skaliert linear mit der Kontextlänge.
„Lost in the middle“-Effekt: Fakten in der Mitte eines Prompts von über 32.000 Token werden weniger zuverlässig berücksichtigt — gestalten Sie das RAG-Retrieval so, dass Schlüsselfakten an den Rändern des Prompts platziert werden.
Multi-Head-Attention (z. B. h=96 bei GPT-4-Klasse-Modellen) ermöglicht es dem Modell, gleichzeitig unterschiedliche Beziehungstypen über denselben Kontext hinweg zu erfassen.
Transformer-Architektur für SAP-Praktiker ist erst dann beherrscht, wenn sie eine konkret benannte Kaufentscheidung verändert.
Beginnen Sie mit dem semantischen Vertrag und dem Kontrollmodell, bevor Sie das Tool demonstrieren.
Nutzen Sie aktuelle SAP-, Analysten-, Studien-, Knowledge-Graph- und Nachrichtensignale als Beleg, nicht als Dekoration.
Trennen Sie verifizierte Fakten von richtungsweisenden Trends und modellierten Annahmen.

Begriffe auf dieser Seite

Self-Attention: Mechanismus, bei dem jedes Token mithilfe von Query-, Key- und Value-Projektionen eine gewichtete Repräsentation aller anderen Token berechnet; Score = softmax(QKᵀ/√d_k).
Multi-Head-Attention: h parallele Self-Attention-Köpfe, die sich jeweils auf unterschiedliche Beziehungstypen spezialisieren; die Ausgaben werden verkettet und linear projiziert.
RoPE: Rotary Position Embedding — kodiert relative Token-Position, indem Rotationsmatrizen auf Q und K angewandt werden, und verallgemeinert bei langen Kontexten besser als absolute Methoden.
Kontextfenster: Die maximale Anzahl an Token, die das Modell in einem Forward-Pass berücksichtigt; bestimmt die maximale Dokumentlänge, die in einem Joule-Aufruf verarbeitet werden kann.
Entscheidungsverantwortlicher: Die verantwortliche Person, die den Kompromiss akzeptiert und die nächste Aktion finanziert.
Semantischer Vertrag: Die gemeinsame Definition von Geschäftsbegriffen, Kennzahlen, Entitäten und Zugriffsregeln, die von Tools und Teams verwendet wird.
Kontrollebene: Die Schicht, die Richtlinien, Zugriff, Lineage, Monitoring und Eskalation über das Betriebsmodell hinweg anwendet.
Evidenzgrad: Eine Kennzeichnung, die verifizierte Fakten, richtungsweisende Signale, modellierte Annahmen und Feldbeobachtungen voneinander unterscheidet.

Quellen

Vollständige Karte für Mitglieder. Was die vollständige Karte ergänzt: den vollständigen Entscheidungsrahmen · den Vergleich SAP · Snowflake · Databricks · Fabric · die häufigen Fallstricke und ihre Behebung · die Kurzreferenz · die Architekturschemata · die Codeblöcke · die zitierfähigen Kennzahlen.

In der App öffnen →