RLHF — Bestärkendes Lernen aus menschlichem Feedback

Reinforcement Learning from Human Feedback, RLHF, ist die Trainingsphase, die aus Modellen, die bereits Instruktionen befolgen konnten, Modelle machte, die konsistent bessere Antworten gegenüber bloß ausreichenden bevorzugen — der Unterschied zwischen einem Modell, das eine akzeptable Antwort produziert, und einem, das zuverlässig die beste Antwort produziert, zu der es fähig ist. Sie sitzt im kanonischen Trainings-Stack nach Pre-Training und Supervised Fine-Tuning und ist die Phase, die am unmittelbarsten für den Sprung in der Nützlichkeit verantwortlich ist, der frühe instruction-getunte Modelle von den darauffolgenden Assistenten unterschied.

Die Mechanik

RLHF läuft als dreistufige Pipeline ab, formalisiert in OpenAIs InstructGPT-Arbeit und seither in Variantenform branchenweit eingesetzt. Schritt eins ist Supervised Fine-Tuning selbst: Das Basismodell wird auf Instruktions-Antwort-Demonstrationen fein abgestimmt, um eine Ausgangs-Policy zu erzeugen, die Instruktionen bereits passabel befolgt. Schritt zwei trainiert ein Reward-Modell: Menschlichen Labellern werden Paare von Kandidatenantworten auf denselben Prompt gezeigt, und sie werden gefragt, welche besser ist; ein separates Modell, typischerweise aus dem SFT-Modell initialisiert und weit kleiner als das Frontier-Modell, das es letztlich steuern wird, wird darauf trainiert, diese Präferenz vorherzusagen. Dieses Reward-Modell wird zu einem schnellen, skalierbaren Stellvertreter für einen menschlichen Richter — einmal trainiert, kann es Millionen Kandidatenantworten bewerten, ohne dass für jede einzelne ein Mensch im Loop sein muss. Schritt drei optimiert die Policy anhand dieses Reward-Signals mittels Proximal Policy Optimization, wobei eine KL-Divergenz-Strafe die aktualisierte Policy nah am ursprünglichen SFT-Modell hält, damit sie nicht in Text abdriftet, der beim Reward-Modell gut abschneidet, sich für einen echten Menschen aber unnatürlich oder degeneriert liest.

Warum es zählt

• Die dreistufige Pipeline (SFT → Reward-Modell mit 6B-13B Parametern → PPO mit KL-Strafe) ist der Grund, warum GPT-3.5/4, Claude und Llama 2-Chat Präferenzen auf Prompts generalisieren, die Labeller nie gesehen haben.
• Die realen Fehlermodi sind katalogisiert, nicht theoretisch: Reward Hacking erzeugt Unterwürfigkeit und Absicherung, Mode Collapse verengt die Ausgabevielfalt, und das Sammeln Zehntausender Vergleichslabels ist teuer und langsam.
• Die Vier-Modell-Orchestrierung von PPO (Policy, Value, Reward, Reference) ist notorisch instabil — kleine Hyperparameter-Änderungen destabilisieren das Training, die direkte Motivation für DPO (C256).

Kernpunkte

• Dreistufige Pipeline — SFT → Reward-Modell aus menschlichen paarweisen Präferenzen trainieren → Policy mittels PPO gegen Reward-Modell + KL-Strafe zu SFT optimieren.
• Reward-Modell — separates 6B-13B-Netzwerk, aus SFT initialisiert, sagt voraus, welche von zwei Ausgaben ein Mensch bevorzugen würde; der skalierbare Stellvertreter für menschliches Urteilsvermögen.
• Zentrales Ergebnis — 1,3B RLHF-getuntes Modell gegenüber rohem 175B-GPT-3 bevorzugt (InstructGPT 2022); der Beweis, dass Alignment Skalierung bei der Nützlichkeit übertrifft.
• Fehlermodi — Reward Hacking (Unterwürfigkeit, Weitschweifigkeit, Überablehnung), Mode Collapse (reduzierte Vielfalt), PPO-Instabilität, Kosten der Vier-Modell-Orchestrierung.
• Nachfolger — Constitutional AI / RLAIF (C255) ersetzt menschliche Bewerter durch einen KI-Kritiker; DPO (C256) eliminiert das Reward-Modell vollständig.
• RLHF geschieht vollständig vorgelagert beim Foundation-Model-Anbieter — die eigentliche Aufgabe eines SAP-Beraters ist Due Diligence dazu, nicht Implementierung; fragen, wo der Human-in-the-Loop-Kontrollpunkt eines konkreten Agenten liegt, nicht nur, ob das Basismodell RLHF-trainiert wurde.
• SAPs Laufzeit-Governance (NVIDIA OpenShell, die Laufzeit-Governance-Schicht von Joule Studio) schränkt ein, was ein bereits RLHF-trainiertes Modell innerhalb einer Agentenschleife TUN darf — sie trainiert das Modell selbst nicht neu und richtet es nicht neu aus; beide sind getrennte, sich ergänzende Kontrollschichten, kein Ersatz füreinander.

Begriffe auf dieser Seite

RLHF

Reinforcement Learning from Human Feedback — das dreistufige Alignment-Rezept (SFT, Reward-Modellierung, PPO-Optimierung), operational eingeführt von InstructGPT 2022; die Technik hinter ChatGPT, GPT-4, dem ursprünglichen Claude, Llama 2-Chat.

Reward-Modell

Ein separates neuronales Netzwerk (typischerweise 6B-13B Parameter, aus dem SFT-Modell initialisiert), das auf menschlichen paarweisen Präferenzlabels trainiert wird, um vorherzusagen, welche von zwei Kandidatenantworten ein Mensch bevorzugen würde; der skalierbare Stellvertreter für menschliches Urteilsvermögen in RLHF.

Proximal Policy Optimisation (PPO)

Der Reinforcement-Learning-Algorithmus (Schulman et al. 2017, OpenAI), der in der kanonischen RLHF-Pipeline verwendet wird; begrenzt (clippt) Policy-Gradient-Updates, um destabilisierende große Policy-Änderungen zu verhindern; orchestriert vier Modelle gleichzeitig im Speicher.

Reward Hacking

Die Pathologie, bei der eine RL-trainierte Policy Wege findet, beim Reward-Modell gut abzuschneiden, obwohl Menschen das Ergebnis tatsächlich ablehnen würden (Unterwürfigkeit, übermäßige Weitschweifigkeit, Absicherung, Überablehnung); der dominante Fehlermodus von RLHF in der Praxis.

Human-in-the-Loop (SAP)

SAPs Laufzeit-Analogon zur Kerneinsicht von RLHF — ein strukturierter Kontrollpunkt, an dem ein Mensch eine von KI vorgeschlagene Aktion akzeptiert, anpasst oder ablehnt, bevor sie wirksam wird; der Accounting Accruals Agent (Buchungsvorschläge, geprüft von einem Buchhalter) ist das ausgelieferte Beispiel. Unterscheidet sich von RLHF: Im heutigen SAP-Produkt wird aus diesen Entscheidungen kein Reward-Modell trainiert.

Laufzeit-Leitplanken gegenüber Alignment zur Trainingszeit

Zwei getrennte, oft verwechselte Kontrollschichten: RLHF (oder Constitutional AI) formt die Gewichte eines Modells zur Trainingszeit, vorgelagert beim Anbieter; SAPs NVIDIA OpenShell und die Laufzeit-Governance-Schicht von Joule Studio schränken ein, was ein bereits trainiertes Modell innerhalb einer governten Agentenschleife TUN darf. Keine der beiden ersetzt die andere.

Quellen

1. Ouyang et al. — Training language models to follow instructions with human feedback (InstructGPT, OpenAI 2022)
2. Christiano et al. — Deep Reinforcement Learning from Human Preferences (foundational RLHF, 2017)
3. Schulman et al. — Proximal Policy Optimization Algorithms (PPO, OpenAI 2017)
4. HuggingFace — Illustrating Reinforcement Learning from Human Feedback (technical blog)
5. SAP Help Portal — generative AI hub orchestration service (content filtering, masking — runtime governance distinct from training-time RLHF)
6. SAP Community — Knowledge graphs for LLM grounding and avoiding hallucination (contrast with RLHF as a hallucination mitigation)
7. SAP Help Portal — SAP Accounting Accruals Agent, human-in-the-loop review step
8. SAP Community — Automating month-end accruals with the SAP Accounting Accruals Agent
9. SAP News Center — NVIDIA OpenShell, secure AI agent execution co-developed with SAP (2026-05-12)
10. arXiv — Direct Preference Optimization (2305.18290), cited as RLHF's simplification successor for cross-reference
11. Learning to summarize from human feedback — Stiennon et al., arXiv
12. Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback — Bai et al., arXiv
13. Scaling Laws for Reward Model Overoptimization — Gao et al., arXiv
14. Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback — Casper et al., arXiv
15. Llama 2: Open Foundation and Fine-Tuned Chat Models — Touvron et al., arXiv
16. RewardBench: Evaluating Reward Models for Language Modeling — Lambert et al., arXiv