Constitutional AI und RLAIF — wie Anthropic/Claude den Human-in-the-Loop entfernten

Constitutional AI, das 2022 von Anthropic eingeführt und in jeder nachfolgenden Claude-Generation weiterentwickelt wurde, adressiert zwei konkrete Schwächen von RLHF: den Engpass beim menschlichen Labeling und die Intransparenz von Präferenzen, die nur in den Köpfen der Labeler existieren, statt irgendwo schriftlich festgehalten zu sein. Es löst beides, indem es den Maßstab explizit macht — eine schriftliche „Konstitution“, ein Satz von Prinzipien, nach denen das Modell trainiert wird zu handeln — und indem es menschliche Vergleichs-Rater durch einen KI-Kritiker ersetzt, eine Technik, die als Reinforcement Learning from AI Feedback oder RLAIF bekannt ist.

Wie die zweiphasige Pipeline funktioniert

Phase eins ist supervised constitutional learning. Dem vortrainierten Modell werden schädliche oder grenzwertige Prompts gezeigt, es erzeugt eine erste Antwort und wird dann gebeten, diese Antwort anhand der Prinzipien der Konstitution zu kritisieren und entsprechend umzuschreiben — zu identifizieren, was an dieser Antwort schädlich, täuschend oder unfair ist, und sie dann so umzuschreiben, dass das Problem beseitigt wird, während sie so hilfreich wie möglich bleibt. Die daraus entstehenden Paare aus Prompt und überarbeiteter Antwort werden zu einem SFT-Datensatz und erzeugen ein Modell, das bereits durch die Konstitution geprägt ist, bevor überhaupt Reinforcement Learning beginnt.

Warum es zählt

• Zweiphasige Pipeline: Das Modell kritisiert und überarbeitet zunächst seine eigenen schädlichen Antworten anhand expliziter Prinzipien, dann bewertet ein KI-Kritiker die Ausgaben für RLAIF anstelle menschlicher Rater.
• Die Konstitution ist öffentlich und auditierbar — sie schöpft aus der UN-Menschenrechtserklärung, Apples Nutzungsbedingungen und Anthropics eigenen Sicherheitsprinzipien — ein Transparenzsprung gegenüber den impliziten Präferenzen der RLHF-Labeler.
• Es adressiert direkt den Labeling-Engpass von RLHF: Zehntausende Vergleiche brauchen Monate, um in Frontier-Modell-Qualität gesammelt zu werden.

Kernpunkte

• Zweiphasige Pipeline — Phase 1 supervised constitutional learning (Modell kritisiert und überarbeitet sich selbst anhand von Prinzipien); Phase 2 RLAIF (KI-Kritiker bewertet Paare, Preference-Modell wird trainiert, PPO optimiert die Policy).
• Konstitution — schriftliche, öffentliche, auditierbare Prinzipien (UN-Menschenrechtserklärung, Apple-Nutzungsbedingungen, nicht-westliche Perspektiven, Anthropic-Sicherheit); das Explizite ersetzt die impliziten Präferenzen der Labeler.
• Skaliert über RLHF hinaus — der KI-Kritiker labelt Millionen von Beispielen zu den Kosten von API-Aufrufen und beseitigt den monatelangen Engpass menschlichen Labelings.
• Risiken — Konstitutions-Drift (verzerrte Prinzipien werden im großen Maßstab verstärkt), geerbte Fehlkalibrierung des KI-Kritikers; abgemildert durch eine veröffentlichte, iterierte Konstitution.
• Verbreitung — Anthropic Claude (seit 2022); Selbstkritik-Schritte bei Meta Llama 3; OpenAI Deliberative Alignment für o1; mittlerweile eine Mainstream-Technik.
• Die Partnerschaft SAP+Anthropic macht dies für einen SAP-Berater konkret statt hypothetisch — Claude ist als primäre Reasoning-/Agentic-Fähigkeit über Joule und Joule-Agenten hinweg positioniert (HR, Beschaffung, Lieferkette), verbunden über MCP, liest den SAP Knowledge Graph für den Geschäftskontext.
• Anthropics veröffentlichte Konstitution ist allgemein gehalten und sagt nichts über SAP-spezifische Prozessnormen (Clean Core, HR-Datenmaskierung, ABAP-Konventionen) — sie ergänzt, ersetzt aber nie SAPs eigene Laufzeit-Governance (OpenShell, Joule-Studio-Governance-Schicht) und die Human-in-the-Loop-Prüfung (C254).

Begriffe auf dieser Seite

Constitutional AI (CAI)

Anthropics 2022 vorgestellte Alignment-Technik (Bai et al.), die LLMs an einem expliziten, schriftlichen Satz von Prinzipien (der „Konstitution“) ausrichtet, in zwei Phasen: supervised Selbstkritik-und-Überarbeitung, dann RLAIF; die Technik hinter jeder Claude-Generation.

RLAIF

Reinforcement Learning from AI Feedback — die RLHF-Variante, bei der ein KI-Kritiker (keine menschlichen Labeler) Ausgabepaare nach dokumentierten Prinzipien bewertet; beseitigt den Engpass menschlichen Labelings und ermöglicht Skalierung auf Millionen von Präferenz-Labels.

Konstitution (in CAI)

Der schriftliche, öffentliche, auditierbare Satz von Prinzipien, der das Verhalten eines LLM unter Constitutional AI regelt; Anthropics schöpft aus der UN-Menschenrechtserklärung, Apples Nutzungsbedingungen, nicht-westlichen Perspektiven und Anthropics Sicherheitsprinzipien; wird offen über die Claude-Generationen hinweg iteriert.

Selbstkritik-Schritt

Der Schritt des supervised constitutional learning, bei dem das Modell aufgefordert wird, Probleme in seiner eigenen ersten Antwort zu identifizieren und sie gemäß den konstitutionellen Prinzipien zu überarbeiten; das Paar (Prompt, überarbeitete Antwort) wird zu SFT-Daten.

SAP+Anthropic-Partnerschaft

SAPs angekündigte Partnerschaft, die Claude als primäre Reasoning- und Agentic-Fähigkeit über Joule und Joule-Agenten hinweg positioniert (HR, Beschaffung, Lieferkette), verbunden über MCP, wobei Claude den SAP Knowledge Graph für den Geschäftskontext liest — angekündigt am 12.05.2026, keine pauschale GA-Aussage für jeden Anwendungsfall.

Geltungsbereichs-Einschränkung der Konstitution

Der allgemeine Geltungsbereich einer veröffentlichten Konstitution (z. B. Anthropics, gestützt auf die UN-Menschenrechtserklärung und allgemeine Sicherheitsprinzipien) erstreckt sich nicht auf domänenspezifische Geschäftsnormen — Clean-Core-Prinzipien, Erwartungen an HR-Datenmaskierung, ABAP-Konventionen —, die SAPs eigene Verantwortung für Laufzeit-Governance und Human-in-the-Loop bleiben und die eine Überarbeitung der Konstitution nicht ersetzen kann.

Quellen

1. Bai et al. — Constitutional AI: Harmlessness from AI Feedback (Anthropic 2022)
2. Anthropic — Claude's Constitution (public published principles)
3. Lee et al. — RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback (Google 2023)
4. Anthropic — Collective Constitutional AI (public deliberation on principles)
5. SAP Generative AI — official product page
6. Model Context Protocol — specification 2026-07-28 (the MCP connection referenced in the SAP+Anthropic Claude-Joule partnership)
7. SAP Help Portal — connect to the MCP server for SAP BTP administration (MCP as the integration path for Claude-based agents)
8. SAP News Center — SAP + Anthropic, bringing Claude to the SAP Business AI Platform (2026-05-12)
9. SAP Community — Why SAP needs a Knowledge Graph, grounding enterprise AI reasoning (Claude/Joule context)
10. SAP News Center — Secure AI agents: how SAP and NVIDIA co-define enterprise-grade agent execution (OpenShell, runtime governance distinct from training-time alignment)
11. Red Teaming Language Models to Reduce Harms — Ganguli et al., arXiv
12. Specific versus General Principles for Constitutional AI — Kundu et al., arXiv
13. Constitutional Classifiers: Defending against universal jailbreaks — Anthropic Research
14. Self-critiquing models for assisting human evaluators — Saunders et al., arXiv
15. Deliberative Alignment: Reasoning Enables Safer Language Models — OpenAI, arXiv
16. Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations — Meta, arXiv