Modell-Distillation — kleine Modelle von großen Lehrmodellen trainieren

Was es ist

Modell-Distillation ist eine Trainingstechnik, die das erlernte Verhalten eines großen, teuren Lehrmodells auf ein kleineres, schnelleres Schülermodell überträgt. Das Ziel ist nicht, die Gewichte des Lehrmodells zu reproduzieren — das ist ohne Zugriff auf sie unmöglich —, sondern sein Ausgabeverhalten auf der Domäne der für Sie relevanten Aufgaben nachzubilden. Das Schülermodell trainiert auf Beispielen, die das Lehrmodell bereits verarbeitet hat, und lernt, dessen Antworten zu imitieren, während es zur Inferenzzeit weitaus günstiger im Betrieb bleibt.

Warum es zählt

• Logit-Distillation liefert über KL-Divergenz auf der vollständigen Wahrscheinlichkeitsverteilung des Lehrmodells ein reichhaltigeres Trainingssignal, setzt aber voraus, dass das Lehrmodell seine Logits offenlegt — möglich bei Llama, nicht bei GPT-4 oder Claude.
• Hidden-State-Distillation ist der dateneffizienteste Modus, benötigt aber architektonische Ähnlichkeit zwischen Lehr- und Schülermodell, was ihn unpraktikabel macht, wenn von einer proprietären Architektur in eine offene distilliert wird.
• Der Enterprise-Fall für Distillation gegenüber reinem Prompting ist die Skalenökonomie: Jeder Frontier-API-Aufruf bezahlt weiterhin den Anbieter, während ein distilliertes Schülermodell bei der Inferenz weitaus günstiger läuft.

Kernpunkte

• Ein kleines Schülermodell (7B-8B) wird trainiert, ein großes Lehrmodell (70B+) auf aufgabenspezifischen Prompts zu imitieren — 80-95 % der Qualität bei 5-10 % der Inferenzkosten.
• Drei Modi — Black-Box (nur Textausgaben, funktioniert mit API-Lehrmodellen), Logit (vollständige Verteilung, offenes Lehrmodell), Hidden-State (tiefstes Signal, architektonische Ähnlichkeit).
• Black-Box-Distillation gegen GPT-4/Claude ist das operative Enterprise-Muster — keine GPU-Trainingsinfrastruktur über ein Standard-Fine-Tuning hinaus nötig.
• Funktioniert gut bei eng gefassten, klar definierten Aufgaben (Extraktion, Klassifizierung, strukturierte Generierung); versagt bei offenem Reasoning und Weltwissen-Aufgaben.
• Synthetische Datengenerierung ist Distillation unter anderem Namen — DeepSeek-R1-distill (2025) und Phi-4 (Microsoft 2024) sind öffentliche Beispiele.
• OpenAIs Funktion Model Distillation operationalisiert diesen Ablauf durchgängig in einer einzigen API: `store: true` bei Chat Completions erfasst die Eingabe-Ausgabe-Paare des Lehrmodells als Stored Completions, die anschließend direkt als Fine-Tuning-Datensatz für ein kleineres Modell verwendet werden.
• Die Lizenz des Lehrmodells vor dem Bau der Pipeline prüfen: Metas Llama Community License und die meisten Nutzungsbedingungen geschlossener APIs untersagen es, die Ausgaben eines Modells zum Training eines direkt konkurrierenden Modells zu verwenden — eine juristische Prüfung gehört vor den ersten Distillation-Lauf, nicht danach.
• Databricks Mosaic AI Training und Snowflake Cortex Fine-tuning bieten beide verwaltete Fine-Tuning-Jobs, die einen vom Lehrmodell erzeugten Datensatz direkt verarbeiten können, sodass ein Unternehmen, das bereits eine der beiden Plattformen nutzt, keine separate Distillation-Infrastruktur benötigt.

Begriffe auf dieser Seite

Distillation

Das Training eines kleinen Schülermodells, ein großes Lehrmodell auf einem aufgabenspezifischen Datensatz zu imitieren, wodurch dessen Verhalten zu einem Bruchteil der Inferenzkosten übertragen wird.

Lehrmodell

Das große, teure Modell, dessen Ausgaben (oder Ausgabeverteilungen) das Trainingssignal für das Schülermodell bilden; typischerweise 70B+ Parameter oder eine Frontier-API.

Schülermodell

Das kleine Modell, das trainiert wird; typischerweise 7B-8B Parameter; läuft nach der Distillation zu 10-100-fach geringeren Kosten als das Lehrmodell.

Synthetische Datengenerierung

Die Nutzung eines großen Modells zur Generierung von Trainingsbeispielen (Prompt-Antwort-Paaren), die anschließend zum Fine-Tuning eines kleineren Modells verwendet werden; das moderne Enterprise-Gesicht der Distillation.

Chain-of-Thought-Distillation

Das Trainieren eines Schülermodells auf der vollständigen Reasoning-Spur des Lehrmodells statt nur auf dessen Endantwort — die Technik hinter DeepSeek-R1-distill und ähnlichen Reasoning-Schülermodellen; bewahrt mehr vom schrittweisen Problemlöseverhalten des Lehrmodells als eine reine Output-Distillation.

Stored Completions

OpenAIs Mechanismus zum Erfassen von Eingabe-Ausgabe-Paaren aus dem laufenden API-Traffic (über ein `store: true`-Flag bei Chat Completions), um einen Distillations- oder Evaluationsdatensatz ohne separate Logging-Pipeline aufzubauen.

Quellen

1. Hinton, Vinyals, Dean — Distilling the Knowledge in a Neural Network (the founding paper, 2015)
2. DeepSeek-AI — DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (R1-distill family, 2025)
3. Microsoft — Phi-4 Technical Report (2024)
4. HuggingFace — TRL (Transformer Reinforcement Learning) distillation recipes
5. SAP Help Portal — SAP Autonomous Suite documentation
6. OpenAI — Model Distillation in the API (product announcement)
7. OpenAI Cookbook — Leveraging model distillation to fine-tune a model
8. Microsoft Learn — Stored completions and distillation in Azure OpenAI / Foundry
9. Meta — Llama 4 Community License Agreement
10. Databricks — Introducing Mosaic AI Model Training for fine-tuning GenAI models
11. Snowflake Docs — Fine-tuning (Snowflake Cortex)
12. Snowflake — Cortex Fine-tuning general availability release note (2025-02-07)
13. Databricks Docs — Mosaic AI Training finetuning reference