Instruction Tuning (SFT) — vom vortrainierten zum hilfreichen Modell

Instruction Tuning — meist Supervised Fine-Tuning oder SFT genannt — ist der Trainingsschritt, der aus einem rohen, vortrainierten Sprachmodell etwas macht, das sich wie ein Assistent verhält. Ein vortrainiertes Modell hat ausschließlich gelernt, das nächste Wort in enormen Textmengen vorherzusagen; es hat keine eingebaute Vorstellung davon, dass auf eine Frage eine Antwort folgen sollte statt weiterer Fragen. Fragt man ein rein vortrainiertes Modell „Was ist die Hauptstadt von Frankreich?“, setzt es ebenso plausibel mit „Was ist die Hauptstadt von Deutschland?“ fort, weil statistisch gesehen genau das im Trainingskorpus oft auf eine Frage folgt. SFT ist das, was dem Modell beibringt, dass eine Frage eine Antwort verdient, eine Instruktion Befolgung verdient und eine Anfrage eine hilfreiche, gut formatierte Antwort verdient.

Wie es funktioniert

Der Mechanismus ist einfach im Verhältnis zu dem, was er hervorbringt. Ein kuratierter Datensatz von Instruktions-Antwort-Paaren — irgendwo zwischen zehntausend und ein paar Millionen Beispielen — wird verwendet, um das vortrainierte Modell mit demselben Next-Token-Prediction-Loss wie im Pre-Training weiterzutrainieren, nur eben auf einem kleinen, sorgfältig verfassten Datensatz statt auf einem Auszug aus dem offenen Internet. Die Gewichte des Modells verschieben sich hin zu dem demonstrierten Antwortstil bei einem demonstrierten Instruktionsstil. Entscheidend ist: SFT fügt kein neues Weltwissen hinzu — das liegt im enormen Pre-Training-Korpus. SFT vermittelt Verhalten: Formateinhaltung, Tonalität, Ablehnungsmuster, Instruktionsbefolgung.

Warum es zählt

• Unaufgefordert beantwortet ein vortrainiertes Modell „Was ist die Hauptstadt von Frankreich?“ mit weiteren Fragen statt mit einer Antwort — genau dieses Versagen behebt SFT.
• Das 1,3B-SFT-Modell von InstructGPT schlug das rohe 175B-GPT-3 in menschlichen Bewertungen — der Beweis, dass Alignment-Arbeit reine Skalierung übertrifft.
• SFT kann Demonstrationen nur imitieren, nicht Qualität bewerten — es übernimmt jedes selbstbewusst falsche Beispiel seines Trainingssets, und genau diese Lücke schließen RLHF, Constitutional AI und DPO.

Kernpunkte

• SFT vermittelt Verhalten (Instruktionsbefolgung, Format, Tonalität, Ablehnungen), NICHT Wissen — Wissen stammt aus dem Pre-Training.
• Datensatzgröße — 10K bis 1M (Instruktion, Antwort)-Paare; Qualität dominiert Quantität ab ~50K Beispielen (LIMA 2023).
• Grundlegende Arbeiten — FLAN (Google 2021) Multi-Task; InstructGPT (OpenAI 2022) frei formulierte, menschlich verfasste Daten; Self-Instruct / Alpaca lehrmodell-bootstrapped.
• Zentrales Ergebnis — 1,3B SFT-getuntes Modell von Menschen gegenüber rohem 175B-GPT-3 bevorzugt (InstructGPT 2022) — Alignment > Skalierung bei der Nützlichkeit.
• Grenzen — keine Vorstellung von Qualitätsranking, kann nicht aus Negativbeispielen lernen, pflanzt Fehler der Demonstrationen fort; benötigt RLHF/DPO/CAI obendrauf.
• SAPs Anleitung zum Generative AI Hub bevorzugt Prompting plus Grounding als Standard vor dem Fine-Tuning — die meisten Kundenanfragen (aktuelle Fakten, aktuelle Zahlen) sind Grounding-Probleme, keine der stabilen Formatprobleme, für die SFT gebaut ist.
• SAP Domain Models (SAP-ABAP-2-, S/4HANA-/Ariba-Varianten) sind SAPs eigenes, SFT-nahes Produkt für fortgesetztes Training auf einem bestehenden Foundation-Modell — heute Early Adopter Care, GA für Q3 2026 anvisiert, noch kein zugesagter Liefertermin.

Begriffe auf dieser Seite

Supervised Fine-Tuning (SFT)

Die Instruction-Tuning-Phase, die mittels standardmäßiger überwachter Next-Token-Prediction auf einem kuratierten Datensatz von (Instruktion, Antwort)-Paaren einem vortrainierten LLM beibringt, Instruktionen zu befolgen und sich wie ein Assistent zu verhalten; die Grundlagenphase vor jeder Präferenzoptimierung.

FLAN

Googles Arbeit von 2021 (Finetuned Language Net), die zeigte, dass Multi-Task-Instruction-Tuning über 60+ als Instruktionen formatierte NLP-Datensätze eine starke Zero-Shot-Generalisierung auf ungesehene Aufgaben erzeugt.

InstructGPT

OpenAIs Paper von 2022 (Ouyang et al.), das SFT auf menschlich verfassten, frei formulierten Demonstrationen mit RLHF kombinierte; das kanonische Rezept hinter ChatGPT und der Beweis, dass ein 1,3B-aligned-Modell ein rohes 175B-Modell bei der Nützlichkeit schlägt.

LIMA

Meta-Ergebnis von 2023 (Less Is More for Alignment), das zeigt, dass 1.000 sorgfältig kuratierte SFT-Beispiele ein Modell hervorbringen, das mit 50K+ Beispielen konkurrenzfähig ist — Qualität dominiert Quantität bei Instruktionsdaten.

Fortgesetztes Pre-Training

Ein weiterer Trainingsdurchlauf auf einem domänenspezifischen Korpus, aufgesetzt auf ein bereits vortrainiertes Foundation-Modell, unterschieden vom (Instruktion, Antwort)-Paarformat des SFT; SAP Domain Models nutzen diesen Ansatz auf SAPs eigenem ABAP-/S/4HANA-/Ariba-Korpus statt eines Pretrainings von Grund auf.

Prompting-plus-Grounding-Standard

SAPs Design-Präferenz im Generative AI Hub, eine Fähigkeitslücke über Prompting des Orchestrierungsdienstes und Retrieval (Dokument-/Datenbank-Grounding) zu lösen, bevor auf Fine-Tuning zurückgegriffen wird; spiegelt wider, dass die meisten von Kunden gemeldeten Lücken Probleme mit aktuellen Fakten sind, die Grounding günstiger löst als SFT.

Quellen

1. Ouyang et al. — Training language models to follow instructions with human feedback (InstructGPT, OpenAI 2022)
2. Wei et al. — Finetuned Language Models Are Zero-Shot Learners (FLAN, Google 2021)
3. Zhou et al. — LIMA: Less Is More for Alignment (Meta 2023)
4. Stanford Alpaca — instruction-tuned LLaMA via Self-Instruct
5. SAP Generative AI — official product page
6. SAP Help Portal — SAP AI Core generative AI hub, model access and orchestration
7. SAP Help Portal — generative AI hub orchestration service (prompting-plus-grounding default before fine-tuning)
8. SAP Community — SAP Joule for Developers, end of the promotional period and AI-Units metering from 2026-10-01
9. SAP Help Portal — metering and pricing for generative AI on SAP AI Core
10. SAP News Center — Joule Studio, enterprise-scale agentic development (SAP Domain Models context)
11. Self-Instruct: Aligning Language Models with Self-Generated Instructions — Wang et al., arXiv
12. Scaling Instruction-Finetuned Language Models (Flan) — Chung et al., arXiv
13. Super-NaturalInstructions: Generalization via Declarative Instructions on 1600+ NLP Tasks — Wang et al., arXiv
14. LoRA: Low-Rank Adaptation of Large Language Models — Hu et al., arXiv
15. QLoRA: Efficient Finetuning of Quantized LLMs — Dettmers et al., arXiv
16. SFT Trainer — Hugging Face TRL documentation