Fiche concept

Encoder-Decoder vs Decoder-Only — Pourquoi GPT/Claude/Gemini ont tous choisi Decoder-Only

À jour au 2026-07-24T14:00:00Z

Édité par Cédric-Olivier Mâry, éditeur et directeur de la publication — 27 ans d'écosystème SAP. Comment ces pages sont produites, et où intervient l'automatisation.

Qu'est-ce que Encoder-Decoder vs Decoder-Only — Pourquoi GPT/Claude/Gemini ont tous choisi Decoder-Only ?

Presque tous les LLM de frontière ont convergé vers le decoder-only en cinq ans après le Transformer encoder-decoder original, car une pile unique divise par deux la complexité d'ingénierie et fait émerger naturellement l'apprentissage en contexte en traitant prompt et génération comme une seule séquence.

Le Transformer original de 2017, décrit dans « Attention Is All You Need », était une architecture encodeur-décodeur : une pile d'encodeur qui lit l'intégralité de l'entrée de façon bidirectionnelle, associée à une pile de décodeur qui génère la sortie de façon autorégressive tout en portant une attention croisée aux représentations de l'encodeur. En l'espace d'environ cinq ans, presque tous les grands modèles de langage de pointe — GPT-3 et GPT-4, Claude, Llama, Gemini, Mistral, DeepSeek — avaient convergé vers une conception différente : le décodeur seul, une pile unique qui traite l'entrée et la sortie générée comme une seule séquence continue sous masquage causal, sans encodeur séparé et sans attention croisée. Comprendre pourquoi cette convergence s'est produite, et où elle ne s'est pas produite, est essentiel pour quiconque évalue des architectures de modèles, calibre un projet de réglage fin, ou explique à un client pourquoi « le chatbot » et « le moteur de traduction » reposent discrètement sur des fondations différentes.

Trois familles, pas deux

Pourquoi c'est important

Les modèles encoder-only (classe BERT) ne peuvent pas générer de texte fluide du tout — conçus uniquement pour la classification, le QA extractif et les embeddings.
Le masquage causal des modèles decoder-only permet la réutilisation du cache KV entre étapes de génération d'une manière que la cross-attention encoder-decoder complique.
Les architectures encoder-decoder gagnent encore pour la traduction pure et les transformations à schéma fixe structuré-vers-structuré — le decoder-only n'est pas universellement meilleur, juste mieux adapté à la génération généraliste.

Points clés

Trois familles — encoder-only (BERT, classification/embeddings), encoder-decoder (T5/BART, transformations structurées), decoder-only (GPT/Claude/Llama/Gemini, génération ouverte).
Decoder-only a gagné à l'échelle frontière — une pile plus simple que deux ; l'in-context learning émerge naturellement ; réutilisation KV cache plus propre ; budget complet de params pour compréhension et génération.
Encoder-decoder gagne encore — traduction production (Google), transformations à schéma fixe, résumé longue-entrée/courte-sortie.
Défaut pratique pour nouveaux projets LLM en 2026 — decoder-only ; l'écosystème (Llama 3, Mistral, DeepSeek, Claude, GPT, Gemini) est decoder-only et le tooling est decoder-only-first.
Encoder-only (famille BERT) reste dominant pour embeddings + classification — cas d'usage différent, pas un concurrent à la génération LLM.

Termes employés sur cette page

Decoder-only transformer: Architecture Transformer à une seule pile de couches, avec self-attention causale de bout en bout, entraînée sur la prédiction du token suivant ; l'architecture canonique de GPT, Claude, Llama, Mistral, Gemini et DeepSeek.
Encoder-decoder transformer: L'architecture Transformer originale de 2017 : un encodeur bidirectionnel lit l'entrée complète, un décodeur causal génère la sortie tout en cross-attendant aux représentations de l'encodeur ; canonique pour T5, BART et les systèmes de traduction en production.
Causal masking: Un masque d'attention qui empêche chaque token d'attendre aux tokens futurs de la séquence ; requis pour la génération autorégressive et le trait distinctif des architectures decoder-only.
Cross-attention: Attention des tokens du décodeur vers les représentations de l'encodeur dans les transformers encoder-decoder ; le mécanisme par lequel le décodeur consulte l'entrée. Absent des modèles decoder-only.
In-context learning (ICL): La capacité d'un LLM à réaliser une nouvelle tâche à partir d'exemples fournis dans le prompt, sans aucune mise à jour de paramètres ; émerge naturellement dans les modèles decoder-only entraînés à grande échelle sur la prédiction du token suivant.
Decision owner: La personne responsable qui accepte l'arbitrage et finance l'action suivante.
Semantic contract: La définition partagée des termes métier, indicateurs, entités et règles d'accès utilisés par les outils et les équipes.
Control plane: La couche qui applique la politique, l'accès, la traçabilité (lineage), la supervision et l'escalade à travers le modèle opérationnel.

Sources

Fiche complète réservée aux abonnés. Ce que la fiche complète ajoute : le cadre de décision complet · la comparaison SAP · Snowflake · Databricks · Fabric · les pièges courants et leur correctif · l'aide-mémoire · les schémas d'architecture · les blocs de code · les chiffres à citer.

Ouvrir dans l'application →