Fiche concept

Distillation de modèles — Entraîner des petits modèles à partir de grands enseignants

À jour au 2026-07-24T14:00:00Z

Édité par Cédric-Olivier Mâry, éditeur et directeur de la publication — 27 ans d'écosystème SAP. Comment ces pages sont produites, et où intervient l'automatisation.

Qu'est-ce que Distillation de modèles — Entraîner des petits modèles à partir de grands enseignants ?

La distillation boîte noire — faire tourner un enseignant API fermée comme GPT-4o ou Claude Opus sur vos prompts du domaine, puis fine-tuner un étudiant open-weight sur les résultats — est le seul mode de distillation qui fonctionne avec les éditeurs fermés, car il ne nécessite aucun accès à leurs internes.

Ce que c'est

La distillation de modèle est une technique d'entraînement qui transfère le comportement appris d'un grand modèle enseignant coûteux vers un modèle élève plus petit et plus rapide. L'objectif n'est pas de reproduire les poids de l'enseignant — c'est impossible sans y avoir accès — mais de reproduire son comportement de sortie sur le domaine de tâches qui vous importe. L'élève s'entraîne sur des exemples déjà traités par l'enseignant, apprenant à imiter ses réponses tout en restant bien moins coûteux à exécuter au moment de l'inférence.

Les trois modes, et quand chacun s'applique

Pourquoi c'est important

La distillation par logits donne un signal d'entraînement plus riche via la divergence KL sur toute la distribution de probabilité de l'enseignant, mais exige que l'enseignant expose ses logits — possible avec Llama, pas avec GPT-4 ou Claude.
La distillation par états cachés est la plus efficace en données mais exige une similarité architecturale entre enseignant et étudiant, ce qui la rend impraticable pour distiller d'une architecture propriétaire vers un modèle open-weight.
L'argument entreprise pour distiller plutôt que prompter est l'économie d'échelle : chaque appel à l'API frontière continue de payer le fournisseur, tandis qu'un étudiant distillé tourne bien moins cher à l'inférence.

Points clés

Entraîner un petit étudiant (7B-8B) à imiter un grand enseignant (70B+) sur prompts spécifiques — 80-95 % de qualité à 5-10 % du coût.
Trois modes — boîte noire (sorties texte, marche avec API), logits (distribution complète, enseignant à poids ouverts), états cachés (signal le plus profond, similarité architecturale).
La distillation boîte noire contre GPT-4/Claude est le pattern opérant en entreprise — pas d'infra GPU au-delà d'un fine-tune standard.
Gagne sur tâches étroites bien définies (extraction, classification, génération structurée) ; échoue sur raisonnement ouvert + connaissances du monde.
La génération de données synthétiques est de la distillation sous un autre nom — DeepSeek-R1-distill (2025), Phi-4 (Microsoft 2024) sont des exemples publics.

Termes employés sur cette page

Distillation: Entraînement d'un petit modèle élève à imiter un grand modèle enseignant sur un jeu de données spécifique à une tâche, transférant le comportement de l'enseignant à une fraction du coût d'inférence.
Teacher: Le grand modèle coûteux dont les sorties (ou distributions de sortie) forment le signal d'entraînement de l'élève ; typiquement 70B+ paramètres ou une API frontière.
Student: Le petit modèle en cours d'entraînement ; typiquement 7B-8B paramètres ; s'exécute à un coût 10-100x inférieur à l'enseignant après distillation.
Synthetic data generation: Utilisation d'un grand modèle pour générer des exemples d'entraînement (paires prompt-réponse) ensuite utilisés pour affiner un modèle plus petit ; le visage moderne de la distillation en entreprise.
Decision owner: La personne responsable qui accepte l'arbitrage et finance l'action suivante.
Semantic contract: La définition partagée des termes métier, métriques, entités et règles d'accès utilisée par les outils et les équipes.
Control plane: La couche qui applique la politique, les accès, la traçabilité (lineage), la supervision et l'escalade à travers le modèle opérationnel.
Evidence grade: Un label qui distingue le fait vérifié, le signal directionnel, l'hypothèse modélisée et l'observation de terrain.

Sources

Fiche complète réservée aux abonnés. Ce que la fiche complète ajoute : le cadre de décision complet · la comparaison SAP · Snowflake · Databricks · Fabric · les pièges courants et leur correctif · l'aide-mémoire · les schémas d'architecture · les blocs de code · les chiffres à citer.

Ouvrir dans l'application →