DPO — Direct Preference Optimization (RLHF ohne das RL)

Was es ist und warum es wichtig ist

Direct Preference Optimization, kurz DPO, ist die Alignment-Technik, die 2023 von einem Stanford-Forschungsteam veröffentlicht wurde und still und leise zur Standardmethode wurde, mit der die meisten Organisationen außerhalb der ganz großen KI-Labore einem Sprachmodell beibringen, eine Art von Antwort einer anderen vorzuziehen. Vor DPO war der Standardweg zum Alignment Reinforcement Learning from Human Feedback: Paare von Modellausgaben sammeln, Menschen entscheiden lassen, welche besser ist, ein separates Reward-Modell trainieren, das dieses Ranking vorhersagt, und dann einen Reinforcement-Learning-Algorithmus (typischerweise Proximal Policy Optimization) laufen lassen, der das Sprachmodell in Richtung der vom Reward-Modell hoch bewerteten Ausgaben schiebt, während ein Strafterm es davon abhält, zu weit von seinem Ausgangsverhalten abzudriften. Diese Pipeline funktioniert, ist aber schwerfällig: vier Modelle gleichzeitig im Spiel (die zu trainierende Policy, eine eingefrorene Referenzkopie, das Reward-Modell und oft ein Value-Modell), eine notorisch fummelige Reinforcement-Learning-Schleife und ein reales Risiko, dass die Policy lernt, Eigenheiten des Reward-Modells auszunutzen, statt sich wirklich zu verbessern.

Warum es zählt

• Der mathematische Kunstgriff (die geschlossene Lösung der optimalen Policy, ausgedrückt als Log-Verhältnis gegenüber einem Referenzmodell) reduziert RLHFs Vier-Modell-Orchestrierung auf zwei Modelle und einen Vorwärts-Rückwärts-Durchlauf.
• Es beseitigt gleichzeitig RLHFs zwei größte operative Schmerzpunkte — PPO-Instabilität und Ausnutzung des Reward-Modells —, weil kein Reward-Modell und keine RL-Schleife mehr übrig sind, die ausgenutzt werden könnten.
• Qualitätsparität wird demonstriert, nicht unterstellt: DPO erreicht auf den Anthropic-Helpful-Harmless- und OpenAssistant-Benchmarks RLHF-Niveau, weiter validiert durch Zephyr-7B und Tulu 2/3 auf offenen Modellen.

Kernpunkte

• Mathematische Erkenntnis — RLHFs optimale Policy hat eine geschlossene Form; die Einsetzung in das Bradley-Terry-Preference-Modell ergibt einen direkten Klassifikationsverlust auf (Prompt, Gewählt, Abgelehnt)-Tripeln.
• Pipeline — kein Reward-Modell, kein PPO; nur Policy + eingefrorene Referenz, ein einziger Vorwärts-Rückwärts-Durchlauf auf Tripel-Daten.
• Kosten — 2- bis 3-mal günstiger als gleichwertig hochwertiges RLHF; Engineering-Komplexität näher an SFT als an RL.
• Qualität — erreicht RLHF-Niveau auf Anthropic HH + OpenAssistant bei vergleichbarem Umfang; Standard für nahezu jedes Open-Weight-Alignment-Rezept seit Mitte 2023 (Zephyr-7B, Tulu 2/3, Llama-3-Varianten, Mistral, Qwen, Gemma).
• Varianten und Grenzen — IPO, KTO, ORPO adressieren spezifische Fehlermodi; weniger robust als RLHF/CAI im Frontier-Maßstab; die Bradley-Terry-Annahme kann bei verrauschten Präferenzdaten versagen.
• Reihenfolge im Unternehmen — auf SAP AI Core erst zu DPO greifen, nachdem Prompting/Grounding (Orchestration Service) und LoRA/QLoRA (C258) kein wiederholbares vergleichendes Verhalten festschreiben konnten; SAPs eigener Generative AI Hub setzt standardmäßig zuerst auf Orchestrierung.
• DPO braucht eine bereits per SFT eingestellte Ausgangs-Policy, kein rohes Basismodell — den überwachten Warmstart zu überspringen verschlechtert die Qualität, weil das Referenzmodell selbst untertrainiert ist.
• Für SAP Domain Models (SAP-ABAP-2) existiert Stand September 2026 kein von SAP veröffentlichtes DPO-Rezept — dies ist eine Technik für Open-Weight- oder selbst gehostete Modelle, keine dokumentierte SAP-Produktfähigkeit; nicht als solche darstellen.

Begriffe auf dieser Seite

Direct Preference Optimization (DPO)

2023 von Stanford veröffentlichte Alignment-Technik (Rafailov et al.), die ein LLM direkt auf (Prompt, Gewählt, Abgelehnt)-Präferenztripeln trainiert, mit einem einfachen Klassifikationsverlust, der aus der geschlossenen Lösung des RLHF-Ziels hergeleitet wird; beseitigt das Reward-Modell und PPO.

Bradley-Terry preference model

Das statistische Modell, das die paarweise Präferenzwahrscheinlichkeit als Funktion latenter Qualitätswerte ausdrückt; sowohl RLHF (über das Reward-Modell) als auch DPO (direkt) trainieren gegen dieses Modell.

Preference triple

Ein Trainingsbeispiel für DPO der Form (Prompt, gewählte Antwort, abgelehnte Antwort); Vergleiche erfahrener Labeler zwischen zwei Modellausgaben auf denselben Prompt erzeugen diese direkt.

KTO / IPO / ORPO

Drei bemerkenswerte DPO-Varianten — Kahneman-Tversky Optimisation (ContextualAI 2024, verteilungsrobust), Identity Preference Optimisation (DeepMind-nahe Forschung, Azar et al. 2023, Korrektur der Überkonfidenz), Odds Ratio Preference Optimisation (Hong et al. 2024, kombiniert SFT+Präferenz); jede adressiert einen spezifischen DPO-Fehlermodus.

Reference model

Eine eingefrorene Kopie der Vor-DPO-Policy (typischerweise der SFT-Checkpoint), die nur zur Berechnung des Log-Wahrscheinlichkeits-Verhältnisses im DPO-Verlust dient; sie erhält nie Gradienten-Updates und verankert, wie weit die trainierte Policy abweichen darf.

SFT warm-start

Der überwachte Fine-Tuning-Durchlauf, der DPO vorausgehen muss; DPO setzt voraus, dass es die Präferenzen einer bereits kompetenten Policy verfeinert, nicht die zugrunde liegende Aufgabe von Grund auf lehrt, sodass das Überspringen dieses Schritts sowohl der Policy als auch dem Referenzmodell grundlegende Kompetenz vorenthält.

RLAIF (Reinforcement Learning from AI Feedback)

Ein Präferenz-Labeling-Ansatz, verwendet in Anthropics Constitutional AI, bei dem ein KI-Modell statt eines Menschen Kandidatenantworten anhand eines Satzes von Prinzipien einstuft; liefert dasselbe (gewählt, abgelehnt)-Tripelformat, auf dem DPO trainiert, zu einem Bruchteil der Kosten menschlicher Kennzeichnung.

Quellen

1. Rafailov et al. — Direct Preference Optimization: Your Language Model is Secretly a Reward Model (Stanford, NeurIPS 2023)
2. Tunstall et al. — Zephyr: Direct Distillation of LM Alignment (HuggingFace 2023)
3. Ivison et al. — Camels in a Changing Climate: Enhancing LM Adaptation with Tulu 2 (AI2 2023)
4. HuggingFace TRL library — DPO implementation and tutorials
5. arXiv — Ethayarajh et al., "KTO: Model Alignment as Prospect Theoretic Optimization" (2024-02-02, fetched 2026-09-27)
6. arXiv — Azar et al., "A General Theoretical Paradigm to Understand Learning from Human Preferences" — the ΨPO/IPO paper (2023-10-18, fetched 2026-09-27)
7. arXiv — Hong et al., "ORPO: Monolithic Preference Optimization without Reference Model" (2024-03-12, fetched 2026-09-27)
8. arXiv — Bai et al. (Anthropic), "Constitutional AI: Harmlessness from AI Feedback" (2022-12-15, fetched 2026-09-27)
9. SAP Help Portal — Orchestration service in the generative AI hub, SAP AI Core (fetched 2026-09-27)
10. SAP Help Portal — generative AI hub overview, SAP AI Core (fetched 2026-09-27)
11. SAP News Center — SAP and Anthropic to bring Claude to the SAP Business AI Platform (2026-05-12)
12. Hugging Face PEFT documentation — LoRA configuration reference for pairing adapters with DPO (fetched 2026-09-27)