Encoder-Decoder vs. Decoder-Only — warum GPT, Claude und Gemini alle auf Decoder-Only setzen

Der ursprüngliche Transformer von 2017 aus „Attention Is All You Need“ war eine Encoder-Decoder-Architektur: ein Encoder-Stack, der die gesamte Eingabe bidirektional liest, gepaart mit einem Decoder-Stack, der die Ausgabe autoregressiv erzeugt, während er Cross-Attention auf die Repräsentationen des Encoders ausübt. Innerhalb von etwa fünf Jahren war fast jedes Frontier-Sprachmodell — GPT-3 und GPT-4, Claude, Llama, Gemini, Mistral, DeepSeek — zu einem anderen Design konvergiert: Decoder-only, ein einzelner Stack, der sowohl die Eingabe als auch die erzeugte Ausgabe als eine durchgehende Sequenz unter kausaler Maskierung verarbeitet, ohne separaten Encoder und ohne Cross-Attention. Zu verstehen, warum diese Konvergenz stattfand und wo nicht, ist unerlässlich für jeden, der Modellarchitekturen bewertet, ein Fine-Tuning-Projekt skizziert oder einem Kunden erklärt, warum „der Chatbot“ und „die Übersetzungs-Engine“ still auf unterschiedlichen Fundamenten aufgebaut sind.

Drei Familien, nicht zwei

Encoder-only-Modelle — BERT, RoBERTa, DeBERTa — nutzen bidirektionale Attention und ein Masked-Language-Model-Trainingsziel; sie sind hervorragend für Klassifikation, extraktive Frage-Antwort und die Erzeugung von Embeddings, waren aber nie darauf ausgelegt, flüssigen Freitext zu generieren, und können das im Grunde nicht. Encoder-Decoder-Modelle — T5, BART, der ursprüngliche Transformer, mT5 — paaren einen bidirektionalen Encoder mit einem kausalen Decoder, verbunden durch Cross-Attention, und bleiben die natürliche Wahl für Aufgaben, die eine strukturierte Sequenz in eine andere überführen: Übersetzung, Zusammenfassung und Probleme, die strukturierte Eingabe in strukturierte Ausgabe umwandeln. Decoder-only-Modelle — die GPT-Familie, Claude, Llama, Mistral, Gemini, DeepSeek — nutzen durchgehend kausale Attention und ein Next-Token-Prediction-Ziel, optimiert für offene Generierung und dafür, neue Aufgaben aus direkt im Prompt platzierten Beispielen zu lernen.

Warum es zählt

• Encoder-only-Modelle (BERT-Klasse) können überhaupt keinen flüssigen Text generieren — sie sind nur für Klassifikation, extraktive Frage-Antwort und Embeddings gebaut.
• Kausale Maskierung in Decoder-only-Modellen ermöglicht KV-Cache-Wiederverwendung über Generierungsschritte hinweg auf eine Weise, die Encoder-Decoder-Cross-Attention erschwert.
• Encoder-Decoder-Architekturen gewinnen weiterhin bei reiner Übersetzung und Transformationen mit festem Schema von strukturiert zu strukturiert — Decoder-only ist nicht universell besser, nur besser für allgemeine Generierung.

Kernpunkte

• Drei Familien — Encoder-only (BERT, Klassifikation/Embeddings), Encoder-Decoder (T5/BART, strukturierte Transformationen), Decoder-only (GPT/Claude/Llama/Gemini, offene Generierung).
• Decoder-only gewann im Frontier-Maßstab — ein Stack einfacher als zwei; In-Context Learning entsteht natürlich; KV-Cache-Wiederverwendung sauberer; volles Parameterbudget für Verstehen und Generierung zugleich.
• Encoder-Decoder gewinnt weiterhin — Produktions-Übersetzung (Google), strukturierte Transformationen mit festem Schema, Zusammenfassung mit langer Eingabe/kurzer Ausgabe.
• Praktischer Standard für neue LLM-Projekte 2026 — Decoder-only; das Ökosystem (Llama 3, Mistral, DeepSeek, Claude, GPT, Gemini) ist Decoder-only, und Tooling ist Decoder-only-first.
• Encoder-only (BERT-Familie) weiterhin dominant für Embeddings + Klassifikation — anderer Anwendungsfall, kein Konkurrent zur LLM-Generierung.
• Jedes von SAP über Joule oder den Generative AI Hub bereitgestellte Modell — Claude, GPT, Gemini, Mistral — ist Decoder-only; keine SAP-Oberfläche bietet eine Encoder-Decoder-Alternative, sodass die Wahl erst bei einer dedizierten, eigens gescopten Transformationspipeline außerhalb des verwalteten gehosteten Pfads wieder auftaucht.
• SAPs Generative AI Hub bevorzugt standardmäßig Orchestrierung (Prompting plus Grounding) gegenüber Fine-Tuning, was selbst eine Decoder-only-first-Designverzerrung ist, die zu benennen ist, wenn der tatsächliche Bedarf eines Kunden eine enge Transformation mit festem Schema ist.

Begriffe auf dieser Seite

Decoder-only-Transformer

Transformer-Architektur mit einem einzigen Stack von Schichten, durchgehend kausaler Self-Attention, trainiert auf Next-Token-Prediction; die kanonische Architektur von GPT, Claude, Llama, Mistral, Gemini und DeepSeek.

Encoder-Decoder-Transformer

Die ursprüngliche Transformer-Architektur von 2017: Ein bidirektionaler Encoder liest die gesamte Eingabe, ein kausaler Decoder erzeugt die Ausgabe, während er Cross-Attention auf die Encoder-Repräsentationen ausübt; kanonisch für T5, BART und Produktions-Übersetzungssysteme.

Kausale Maskierung

Eine Attention-Maske, die verhindert, dass jedes Token zukünftige Tokens in der Sequenz beachtet; erforderlich für autoregressive Generierung und das definierende Merkmal von Decoder-only-Architekturen.

Cross-Attention

Attention von Decoder-Tokens auf Encoder-Repräsentationen in Encoder-Decoder-Transformern; der Mechanismus, mit dem der Decoder die Eingabe konsultiert. Fehlt in Decoder-only-Modellen.

In-Context Learning (ICL)

Die Fähigkeit eines LLM, eine neue Aufgabe anhand von Beispielen im Prompt auszuführen, ohne jede Parameteraktualisierung; entsteht natürlich in Decoder-only-Modellen, die im großen Maßstab auf Next-Token-Prediction trainiert wurden.

Quellen

1. Attention Is All You Need (Vaswani et al., 2017)
2. T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (Raffel et al., 2020)
3. GPT-3: Language Models are Few-Shot Learners (Brown et al., 2020)
4. What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization? (Wang et al., 2022)
5. SAP Generative AI — official product page
6. arXiv — BART: Denoising Sequence-to-Sequence Pre-training for NLG, Translation and Comprehension (Lewis et al., 2019)
7. arXiv — PaLM: Scaling Language Modeling with Pathways (2022)
8. SAP Help Portal — What is SAP Document AI (structured extraction capability)
9. SAP — Document AI service description (plans, error-rate caution)
10. SAP Help Portal — Orchestration service (prompting plus grounding, the generative AI hub's default path)
11. SAP Help Portal — Generative AI hub in SAP AI Core (hosted decoder-only endpoints)
12. Anthropic — Context windows documentation (2026 model context/output limits)
13. Databricks — Model Serving documentation (deploying a dedicated encoder-decoder model)