Synthetische Datengenerierung für das Training — Self-Instruct, Self-Play

Was es ist

Synthetische Datengenerierung ist die Praxis, ein leistungsfähiges „Lehrer“-Modell zu verwenden, um Trainingsbeispiele herzustellen — Frage-Antwort-Paare, Code-Übersetzungen, Tool-Aufruf-Spuren, bewertete Dialogrunden —, mit denen dann ein „Schüler“-Modell trainiert wird, statt Menschen zu bezahlen, um jedes Beispiel von Hand zu schreiben. Es wurde zur bevorzugten Enterprise-Fine-Tuning-Strategie, sobald Frontier-Modelle gut genug wurden, um konsistent korrekte Enterprise-Domänendaten schneller zu schreiben, als jedes Labeling-Team einstellen und kalibrieren könnte.

Warum es wichtig ist

Der Engpass in fast jedem Fine-Tuning-Projekt ist nicht Rechenleistung oder Algorithmus — es ist der Seed-Korpus. Ein Team, das ein Modell haben möchte, das ABAP fließend in SQL übersetzt oder Fragen gegen ein bestimmtes SAP-Business-Data-Cloud-Modell beantwortet, hat typischerweise eine Handvoll handgefertigter Beispiele und keinen realistischen Weg, Annotatoren einzustellen, die sowohl die Domäne als auch das Zielformat gut genug verstehen, um Tausende weitere zu produzieren. Synthetische Generierung verwandelt diese Handvoll Seed-Beispiele in Zehn- oder Hunderttausende von Trainingspaaren zu Kosten, die in API-Tokens statt Annotatoren-Personalkosten gemessen werden.

Wie es funktioniert

Drei Familien dominieren die Praxis, und sie lösen unterschiedliche Probleme.

Self-Instruct prompted ein Lehrer-Modell mit einem kleinen Satz von Seed-Beispielen und bittet es, weitere Beispiele „im selben Stil“ zu schreiben — gleiches Format, gleicher Schwierigkeitsbereich, gleiche Domäne. Die Ausgabe wird auf Beinahe-Duplikate und Längen-Ausreißer gefiltert, bevor sie zu Trainingsdaten wird. Das ist der günstigste, breiteste Ansatz: Er maximiert die Abdeckung der Instruktionsvielfalt.

Warum es zählt

• Drei benannte Fehlermodi wiederholen sich über jeden Ansatz hinweg: Mode Collapse, Verstärkung von Halluzinationen (Lehrerfehler werden zu Trainings-Labels des Schülers) und Verbatim-Kopieren, das nachgelagerte Urheberrechtsexposition erzeugt.
• Die Leitplanken sind konkret, nicht generisch: aggressive Deduplizierung (MinHash + SemDeDup), faktische Filterung gegen Ground Truth und Herkunftsprotokollierung für Audit-Trails nach Art. 10 + Art. 53 EU-AI-Act.
• Für SAP-Analytics ist das kanonische Muster konkret: 50.000-200.000 ABAP-zu-SQL- und BW-zu-Datasphere-Paare aus einem handgefertigten Seed-Satz erzeugen, hart filtern, dann LoRA-fein abstimmen (C258) auf dem Ergebnis.

Kernpunkte

• Drei Familien — Self-Instruct (Lehrer erzeugt Instruktionen aus Seeds), Self-Play (Modell spielt beide Rollen), Distillation (Ausgaben eines stärkeren Lehrers nachahmen).
• Fehlermodi — Mode Collapse, Verstärkung von Halluzinationen, Verbatim-Kopieren aus Lehrer-Trainingsdaten; abgemildert durch aggressive Deduplizierung und faktische Filterung.
• Leitplanken — MinHash- + SemDeDup-Deduplizierung, faktische Filterung gegen eine Ground-Truth-Wissensbasis, Herkunftsprotokollierung nach Art. 10 + Art. 53 EU-AI-Act für jedes Sample.
• SAP-Muster — Frontier-API erzeugt 50.000-200.000 ABAP-SQL-/BW-Datasphere-/Q&A-Paare aus handgefertigten Seeds; aggressiv filtern; LoRA-fein abstimmen (C258).
• Ökonomie — 50- bis 200-mal günstiger als menschliches Labeling zu 2026er-Frontier-API-Preisen; die Qualitätslücke schließt sich mit jedem Modell-Release.
• SAPs Modellbibliothek im Generative AI Hub erreicht Claude, OpenAI-GPT-Modelle, Gemini und Mistral über einen einzigen governten Orchestration Service — Aufrufe zur synthetischen Datengenerierung darüber routen, damit Data Masking echte Kundeninhalte aus Seed-Prompts entfernt, bevor sie ein externes Modell erreichen.
• Provenienz innerhalb von SAP AI Cores eigenem Audit-Trail protokollieren, nicht in einer separaten Tabelle — das ist das Artefakt, dem eine Governance-Prüfung nach Art. 10/53 EU-AI-Act tatsächlich vertrauen wird.
• Ab dem 01.10.2026 wechselt ABAP AI von SAPs kostenloser Aktionsstufe zu kommerziellem, in AI Units gemessenem Zugriff — eine Pipeline für synthetische Daten im Umfang von 50.000-200.000 Samples gegen dieses Datum bepreisen, nicht gegen eine Proof-of-Concept-Annahme auf der kostenlosen Stufe.

Begriffe auf dieser Seite

Self-Instruct

Methode (Wang et al. 2023), bei der ein Lehrer-LLM aus einem kleinen Seed-Satz einen Instruktionsdatensatz bootstrappt, indem es neue Instruktions-Antwort-Paare im selben Stil erzeugt; das 7B-Modell Alpaca war die erste weithin anerkannte Demonstration.

Self-Play (SPIN)

Trainingsverfahren, bei dem dasselbe Modell seine eigenen Ausgaben erzeugt und anschließend bewertet, wobei ein Reward-Signal oder ein Richter die bevorzugten Ausgaben für die nächste Trainingsrunde auswählt; reduziert die Abhängigkeit von externen Labels.

Distillation

Training eines kleineren Schüler-Modells, um die Ausgaben eines größeren Lehrer-Modells nachzuahmen (Hinton et al., 2015); verlagert Inferenzkosten von der Serving- zur Trainingszeit und erzeugt kompakte Modelle mit einem Großteil der Fähigkeiten des Lehrers.

Mode collapse

Fehlermodus der synthetischen Datengenerierung, bei dem der Lehrer wiederholt ein enges Band an Mustern ausgibt; der Schüler überspezialisiert sich dann auf dieses Band und versagt bei Out-of-Distribution-Eingaben.

Data masking (Orchestration Service)

Ein konfigurierbares Pipeline-Modul in SAPs Generative-AI-Hub-Orchestration-Service, das sensible Felder entfernt oder pseudonymisiert, bevor ein Prompt einen LLM-Endpunkt erreicht — die relevante Kontrolle, wenn Seed-Beispiele für synthetische Datengenerierung aus echtem Kunden-ABAP-Code, Tickets oder Konfigurationsdaten stammen.

Provenance logging

Das Protokollieren, welches Modell ein Sample aus welchem Prompt und wann erzeugt hat, für jedes synthetische Trainingsbeispiel; nach Art. 10 (Daten-Governance) und Art. 53 (GPAI-Transparenz) des EU-AI-Acts vorgeschrieben, und das Protokoll, das ein Governance-Prüfer tatsächlich sehen will.

Golden set

Ein kleines, von Menschen gelabeltes, zurückgehaltenes Evaluationsset, das die tatsächliche Qualität eines auf synthetischen Daten trainierten Modells prüft; nie einer rein synthetischen Evaluation vertrauen, da sie dieselben blinden Flecken wie die synthetischen Trainingsdaten teilen kann.

Quellen

1. arXiv: Self-Instruct — Aligning Language Models with Self-Generated Instructions (Wang et al. 2023)
2. arXiv: Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models (Chen et al. 2024 — SPIN)
3. Anthropic Responsible Scaling Policy — training-data governance
4. NIST AI Risk Management Framework 1.0
5. SAP Business AI — official product page
6. arXiv — Bai et al. (Anthropic), "Constitutional AI: Harmlessness from AI Feedback" (2022, fetched 2026-09-27)
7. arXiv — Hinton, Vinyals & Dean, "Distilling the Knowledge in a Neural Network" (2015, fetched 2026-09-27)
8. Stanford CRFM — Alpaca: A Strong, Replicable Instruction-Following Model (2023-03-13, fetched 2026-09-27)
9. SAP Help Portal — Orchestration service (data masking, content filtering) in the generative AI hub (fetched 2026-09-27)
10. SAP Help Portal — generative AI hub model access overview, SAP AI Core (fetched 2026-09-27)
11. SAP Community — SAP Joule for Developers: end of the promotional period and the path forward (2026, fetched 2026-09-27)
12. EUR-Lex — Regulation (EU) 2024/1689 (EU AI Act), consolidated text incl. Art. 10 and Art. 53 (fetched 2026-09-27)