Distillation de modèles
Définition
La distillation de modèles aussi appelée distillation de connaissances est le processus qui permet de transférer les connaissances d'un grand modèle d'apprentissage à un modèle plus petit sans perte de validité et en conservant la précision lors de la compression du modèle.
Compléments
Cette technique permet d’utiliser un modèle enseignant volumineux et coûteux pour entraîner un modèle étudiant « étudiant » plus petit et à moindre coût.
Beaucoup de commentaires et accusations concernant le lancement de modèles à paramètres ouverts par des entreprises chinoise portaient sur l'emploi de la technique de distillation. Or la distillation est une technique connue depuis une décennie et un outil largement utilisé par les entreprises technologiques commeAnthropic, DeepMind et OpenAI pour leurs propres modèles. De plus, aucun modèle d'IA n'est à l'abri s'il peut être sollicité.
Français
distillation de / des modèles
distillation de / des connaissances
Anglais
model distillation
knowledge distillation
Sources
Quanta magazine , How Distillation Makes AI Models Smaller and Cheaper
Wikipedia - distillation de modèles, distillation des connaissances
Contributeurs: Arianne Arel, Claude Coulombe, wiki
