Fiche concept

DPO — Direct Preference Optimization (RLHF sans le RL)

À jour au 2026-07-24T14:00:00Z

Édité par Cédric-Olivier Mâry, éditeur et directeur de la publication — 27 ans d'écosystème SAP. Comment ces pages sont produites, et où intervient l'automatisation.

Qu'est-ce que DPO — Direct Preference Optimization (RLHF sans le RL) ?

DPO élimine complètement le modèle de récompense et PPO — une substitution en forme fermée permet d'entraîner la politique directement sur des triplets de préférence (choisi, rejeté) avec une simple loss de classification, environ 2 à 3 fois moins cher que RLHF.

Ce que c'est et pourquoi cela compte

Direct Preference Optimization, ou DPO, est la technique d'alignement publiée par une équipe de recherche de Stanford en 2023, devenue discrètement la méthode par défaut pour aligner un modèle de langage en dehors des tout premiers laboratoires d'IA. Avant DPO, la voie standard vers l'alignement était l'apprentissage par renforcement à partir de retours humains (RLHF) : on collecte des paires de réponses générées par le modèle, des humains classent laquelle est la meilleure, on entraîne un modèle de récompense séparé pour prédire ce classement, puis on exécute un algorithme d'apprentissage par renforcement (typiquement Proximal Policy Optimization) qui pousse le modèle de langage vers les réponses que le modèle de récompense note favorablement, tout en gardant, via un terme de pénalité, une proximité avec son comportement de départ. Ce pipeline fonctionne, mais il est lourd : quatre modèles en jeu simultanément (la politique en cours d'entraînement, une copie de référence figée, le modèle de récompense, et souvent un modèle de valeur), une boucle d'apprentissage par renforcement notoirement délicate à régler, et un risque réel que la politique apprenne à exploiter les failles du modèle de récompense plutôt que de réellement s'améliorer.

Pourquoi c'est important

Le coup mathématique (politique optimale en forme fermée exprimée comme un log-ratio contre un modèle de référence) réduit l'orchestration à quatre modèles de RLHF à deux modèles et une seule passe forward-backward.
Il supprime d'un coup les deux plus gros points de douleur opérationnels de RLHF — instabilité PPO et exploitation du modèle de récompense — puisqu'il n'y a plus ni modèle de récompense ni boucle RL à exploiter.
La parité de qualité est démontrée, pas supposée : DPO égale RLHF sur les benchmarks Helpful-Harmless d'Anthropic et OpenAssistant, validé par Zephyr-7B et Tulu 2/3 sur des modèles ouverts.

Points clés

Intuition mathématique — la politique optimale RLHF a une forme fermée ; substituer dans le modèle de préférence Bradley-Terry donne une loss de classification directe sur triplets (prompt, choisi, rejeté).
Pipeline — pas de modèle de récompense, pas de PPO ; seulement politique + référence gelée, une seule passe forward-backward sur les données triplets.
Coût — 2 à 3 fois moins cher que RLHF de qualité équivalente ; complexité d'ingénierie plus proche du SFT que du RL.
Qualité — égale RLHF sur Anthropic HH + OpenAssistant à échelle comparable ; défaut pour presque chaque recette d'alignement open-weight depuis mi-2023 (Zephyr-7B, Tulu 2/3, variantes Llama 3, Mistral, Qwen, Gemma).
Variantes + limites — IPO, KTO, ORPO adressent des modes d'échec spécifiques ; moins robuste que RLHF/CAI à l'échelle frontière ; l'hypothèse Bradley-Terry peut échouer sur données de préférence bruyantes.

Termes employés sur cette page

Direct Preference Optimization (DPO): Technique d'alignement de Stanford (Rafailov et al. 2023) qui entraîne un LLM directement sur des triplets de préférence (prompt, choisi, rejeté) via une simple perte de classification dérivée de la solution en forme close de l'objectif RLHF ; élimine le modèle de récompense et le PPO.
Bradley-Terry preference model: Le modèle statistique qui exprime la probabilité de préférence par paires comme fonction de scores de qualité latents ; tant le RLHF (via le modèle de récompense) que le DPO (directement) s'entraînent contre ce modèle.
Preference triple: Un exemple d'entraînement pour le DPO de la forme (prompt, réponse choisie, réponse rejetée) ; les comparaisons d'annotateurs seniors entre deux sorties du modèle pour un même prompt les produisent directement.
KTO / IPO / ORPO: Trois variantes notables du DPO — Kahneman-Tversky Optimisation (ContextualAI 2024, robuste à la distribution), Identity Preference Optimisation (DeepMind 2023, correctif de surconfiance), Odds Ratio Preference Optimisation (Hong et al. 2024, SFT+préférence combinés) ; chacune traite un mode de défaillance spécifique du DPO.
Decision owner: La personne responsable qui accepte l'arbitrage et finance l'action suivante.
Semantic contract: La définition partagée des termes métier, indicateurs, entités et règles d'accès utilisée par les outils et les équipes.
Control plane: La couche qui applique politique, accès, traçabilité (lineage), supervision et escalade à travers le modèle opérationnel.
Evidence grade: Une étiquette qui distingue le fait vérifié, le signal directionnel, l'hypothèse modélisée et l'observation de terrain.

Sources

Fiche complète réservée aux abonnés. Ce que la fiche complète ajoute : le cadre de décision complet · la comparaison SAP · Snowflake · Databricks · Fabric · les pièges courants et leur correctif · l'aide-mémoire · les schémas d'architecture · les blocs de code · les chiffres à citer.

Ouvrir dans l'application →