Konzeptkarte

Synthetische Datengenerierung für das Training — Self-Instruct, Self-Play

Stand 2026-07-24T14:00:00Z

Redaktion: Cédric-Olivier Mâry, alleiniger Redakteur und verantwortlich für die Veröffentlichung — 27 Jahre im SAP-Ökosystem. Wie diese Seiten entstehen und wo Automatisierung eingesetzt wird.

Was ist Synthetische Datengenerierung für das Training — Self-Instruct, Self-Play?

Synthetische Datengenerierung überwindet die Obergrenze menschlich gelabelter Daten, indem ein leistungsfähiges Lehrmodell generiert und ein Schülermodell daraus lernt — Self-Instruct zeigte, dass ein Lehrmodell mit 175 Milliarden Parametern aus nur 175 Ausgangs-Prompts ein konkurrenzfähiges Schülermodell mit 7 Milliarden Parametern bootstrappen konnte.

Was es ist

Synthetische Datengenerierung ist die Praxis, ein leistungsfähiges „Lehrer“-Modell zu verwenden, um Trainingsbeispiele herzustellen — Frage-Antwort-Paare, Code-Übersetzungen, Tool-Aufruf-Spuren, bewertete Dialogrunden —, mit denen dann ein „Schüler“-Modell trainiert wird, statt Menschen zu bezahlen, um jedes Beispiel von Hand zu schreiben. Es wurde zur bevorzugten Enterprise-Fine-Tuning-Strategie, sobald Frontier-Modelle gut genug wurden, um konsistent korrekte Enterprise-Domänendaten schneller zu schreiben, als jedes Labeling-Team einstellen und kalibrieren könnte.

Warum es wichtig ist

Der Engpass in fast jedem Fine-Tuning-Projekt ist nicht Rechenleistung oder Algorithmus — es ist der Seed-Korpus. Ein Team, das ein Modell haben möchte, das ABAP fließend in SQL übersetzt oder Fragen gegen ein bestimmtes SAP-Business-Data-Cloud-Modell beantwortet, hat typischerweise eine Handvoll handgefertigter Beispiele und keinen realistischen Weg, Annotatoren einzustellen, die sowohl die Domäne als auch das Zielformat gut genug verstehen, um Tausende weitere zu produzieren. Synthetische Generierung verwandelt diese Handvoll Seed-Beispiele in Zehn- oder Hunderttausende von Trainingspaaren zu Kosten, die in API-Tokens statt Annotatoren-Personalkosten gemessen werden.

Wie es funktioniert

Drei Familien dominieren die Praxis, und sie lösen unterschiedliche Probleme.

Self-Instruct prompted ein Lehrer-Modell mit einem kleinen Satz von Seed-Beispielen und bittet es, weitere Beispiele „im selben Stil“ zu schreiben — gleiches Format, gleicher Schwierigkeitsbereich, gleiche Domäne. Die Ausgabe wird auf Beinahe-Duplikate und Längen-Ausreißer gefiltert, bevor sie zu Trainingsdaten wird. Das ist der günstigste, breiteste Ansatz: Er maximiert die Abdeckung der Instruktionsvielfalt.

Warum es zählt

Drei benannte Fehlermodi wiederholen sich über jeden Ansatz hinweg: Mode Collapse, Verstärkung von Halluzinationen (Lehrerfehler werden zu Trainings-Labels des Schülers) und Verbatim-Kopieren, das nachgelagerte Urheberrechtsexposition erzeugt.
Die Leitplanken sind konkret, nicht generisch: aggressive Deduplizierung (MinHash + SemDeDup), faktische Filterung gegen Ground Truth und Herkunftsprotokollierung für Audit-Trails nach Art. 10 + Art. 53 EU-AI-Act.
Für SAP-Analytics ist das kanonische Muster konkret: 50.000-200.000 ABAP-zu-SQL- und BW-zu-Datasphere-Paare aus einem handgefertigten Seed-Satz erzeugen, hart filtern, dann LoRA-fein abstimmen (C258) auf dem Ergebnis.

Kernpunkte

Drei Familien — Self-Instruct (Lehrer erzeugt Instruktionen aus Seeds), Self-Play (Modell spielt beide Rollen), Distillation (Ausgaben eines stärkeren Lehrers nachahmen).
Fehlermodi — Mode Collapse, Verstärkung von Halluzinationen, Verbatim-Kopieren aus Lehrer-Trainingsdaten; abgemildert durch aggressive Deduplizierung und faktische Filterung.
Leitplanken — MinHash- + SemDeDup-Deduplizierung, faktische Filterung gegen eine Ground-Truth-Wissensbasis, Herkunftsprotokollierung nach Art. 10 + Art. 53 EU-AI-Act für jedes Sample.
SAP-Muster — Frontier-API erzeugt 50.000-200.000 ABAP-SQL-/BW-Datasphere-/Q&A-Paare aus handgefertigten Seeds; aggressiv filtern; LoRA-fein abstimmen (C258).
Ökonomie — 50- bis 200-mal günstiger als menschliches Labeling zu 2026er-Frontier-API-Preisen; die Qualitätslücke schließt sich mit jedem Modell-Release.
Synthetic Data Generation for Training — Self-Instruct, Self-Play ist erst dann beherrscht, wenn es eine benannte Käuferentscheidung verändert.
Beginnen Sie mit dem semantischen Vertrag und dem Kontrollmodell, bevor Sie das Tool vorführen.
Nutzen Sie aktuelle SAP-, Analysten-, Studien-, Knowledge-Graph- und News-Signale als Belege, nicht als Dekoration.
Trennen Sie verifizierte Fakten von richtungsweisenden Trends und modellierten Annahmen.
Definieren Sie Owner, Metrik, Schwellenwert, Support-Pfad und Rollback, bevor Sie skalieren.

Begriffe auf dieser Seite

Self-Instruct: Methode (Wang et al. 2023), bei der ein Lehrer-LLM aus einem kleinen Seed-Satz einen Instruktionsdatensatz bootstrappt, indem es neue Instruktions-Antwort-Paare im selben Stil erzeugt; das 7B-Modell Alpaca war die erste weithin anerkannte Demonstration.
Self-Play (SPIN): Trainingsverfahren, bei dem dasselbe Modell seine eigenen Ausgaben erzeugt und anschließend bewertet, wobei ein Reward-Signal oder ein Richter die bevorzugten Ausgaben für die nächste Trainingsrunde auswählt; reduziert die Abhängigkeit von externen Labels.
Distillation: Training eines kleineren Schüler-Modells, um die Ausgaben eines größeren Lehrer-Modells nachzuahmen; verlagert Inferenzkosten von der Serving- zur Trainingszeit und erzeugt kompakte Modelle mit einem Großteil der Fähigkeiten des Lehrers.
Mode collapse: Fehlermodus der synthetischen Datengenerierung, bei dem der Lehrer wiederholt ein enges Band an Mustern ausgibt; der Schüler überspezialisiert sich dann auf dieses Band und versagt bei Out-of-Distribution-Eingaben.
Decision owner: Die verantwortliche Person, die den Trade-off akzeptiert und die nächste Maßnahme finanziert.
Semantic contract: Die gemeinsame Definition von Geschäftsbegriffen, Kennzahlen, Entitäten und Zugriffsregeln, die von Tools und Teams verwendet wird.
Control plane: Die Schicht, die Richtlinien, Zugriff, Herkunftsnachweis, Monitoring und Eskalation über das Betriebsmodell hinweg durchsetzt.
Evidence grade: Eine Kennzeichnung, die verifizierte Fakten, richtungsweisende Signale, modellierte Annahmen und Feldbeobachtungen unterscheidet.

Quellen

Vollständige Karte für Mitglieder. Was die vollständige Karte ergänzt: den vollständigen Entscheidungsrahmen · den Vergleich SAP · Snowflake · Databricks · Fabric · die häufigen Fallstricke und ihre Behebung · die Kurzreferenz · die Architekturschemata · die Codeblöcke · die zitierfähigen Kennzahlen.

In der App öffnen →