Distillation de modèles

Définition

La distillation de modèles aussi appelée distillation de connaissances est le processus qui permet de transférer les connaissances d'un grand modèle d'apprentissage à un modèle plus petit sans perte de validité et en conservant la précision lors de la compression du modèle.

Compléments

Cette technique permet d’utiliser un modèle d'apprentissage « enseignant » volumineux et coûteux pour entraîner un modèle d'apprentissage « étudiant » plus petit et à moindre coût.
Beaucoup de commentaires et accusations concernant le lancement en 2025 des modèles DeepSeek et R1 par une entreprise chinoise portaient sur l'emploi de la technique de distillation. Or la distillation est un sujet de recherche en informatique depuis une décennie et un outil largement utilisé par les entreprises technologiques comme DeepMind et OpenAI pour leurs propres modèles.

Français

distillation de / des modèles

distillation de / des connaissances

Anglais

model distillation

knowledge distillation

Knowledge distillation is the process to transfer knowledge from large model to smaller one without loss of validity and retains accuracy with model compression.

Sources

Source : Wikipédia

Source : Proceeding Neurips

Source : Paper with code