« Distillation de modèles » : différence entre les versions
m (Claude COULOMBE a déplacé la page Distillation des connaissances vers Distillation de modèles) |
Aucun résumé des modifications Balise : Révocation manuelle |
||
| (7 versions intermédiaires par un autre utilisateur non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
La distillation de modèles aussi appelée distillation de connaissances est le processus qui permet de transférer les connaissances d'un grand modèle à un plus petit | La distillation de modèles aussi appelée distillation de connaissances est le processus qui permet de transférer les connaissances d'un grand [[modèle d'apprentissage]] à un modèle plus petit sans perte de validité et en conservant la précision lors de la compression du modèle. | ||
== Compléments == | == Compléments == | ||
Cette technique permet d’utiliser un modèle « enseignant » volumineux et coûteux pour entraîner un modèle « étudiant » à moindre coût. | Cette technique permet d’utiliser un [[modèle d'apprentissage]] « enseignant » volumineux et coûteux pour entraîner un [[modèle d'apprentissage]] « étudiant » plus petit et à moindre coût. | ||
<hr/> | |||
Beaucoup de commentaires et accusations concernant le lancement en 2025 des modèles [[DeepSeek]] et R1 par une entreprise chinoise portaient sur l'emploi de la technique de distillation. Or la distillation est un sujet de recherche en informatique depuis une décennie et un outil largement utilisé par les entreprises technologiques comme [[DeepMind]] et [[OpenAI]] pour leurs propres modèles. | |||
== Français == | == Français == | ||
'''distillation de modèles''' | '''distillation de / des modèles''' | ||
'''distillation des connaissances''' | '''distillation de / des connaissances''' | ||
== Anglais == | == Anglais == | ||
| Ligne 16 : | Ligne 17 : | ||
'''knowledge distillation''' | '''knowledge distillation''' | ||
''Knowledge distillation is the process to transfer knowledge from large model to smaller one without loss of validity and retains accuracy with model compression.'' | <!-- ''Knowledge distillation is the process to transfer knowledge from large model to smaller one without loss of validity and retains accuracy with model compression.'' --> | ||
==Sources== | ==Sources== | ||
[https://en.wikipedia.org/wiki/Knowledge_distillation#:~:text=In%20machine%20learning%2C%20knowledge%20distillation,might%20not%20be%20fully%20utilized. | [https://www.quantamagazine.org/how-distillation-makes-ai-models-smaller-and-cheaper-20250718/ Quanta magazine , How Distillation Makes AI Models Smaller and Cheaper] | ||
[https://en.wikipedia.org/wiki/Knowledge_distillation#:~:text=In%20machine%20learning%2C%20knowledge%20distillation,might%20not%20be%20fully%20utilized. Wikipedia - distillation de modèles, distillation des connaissances] | |||
[https://proceedings.neurips.cc/paper_files/paper/2017/hash/e1e32e235eee1f970470a3a6658dfdd5-Abstract.html | [https://proceedings.neurips.cc/paper_files/paper/2017/hash/e1e32e235eee1f970470a3a6658dfdd5-Abstract.html NeurIPS Proceedings 2017 - Knowledge Distillation] | ||
] | |||
[https://paperswithcode.com/task/knowledge-distillation | [https://paperswithcode.com/task/knowledge-distillation Paper with code - Knowledge Distillation] | ||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
Dernière version du 20 juillet 2025 à 19:40
Définition
La distillation de modèles aussi appelée distillation de connaissances est le processus qui permet de transférer les connaissances d'un grand modèle d'apprentissage à un modèle plus petit sans perte de validité et en conservant la précision lors de la compression du modèle.
Compléments
Cette technique permet d’utiliser un modèle d'apprentissage « enseignant » volumineux et coûteux pour entraîner un modèle d'apprentissage « étudiant » plus petit et à moindre coût.
Beaucoup de commentaires et accusations concernant le lancement en 2025 des modèles DeepSeek et R1 par une entreprise chinoise portaient sur l'emploi de la technique de distillation. Or la distillation est un sujet de recherche en informatique depuis une décennie et un outil largement utilisé par les entreprises technologiques comme DeepMind et OpenAI pour leurs propres modèles.
Français
distillation de / des modèles
distillation de / des connaissances
Anglais
model distillation
knowledge distillation
Sources
Quanta magazine , How Distillation Makes AI Models Smaller and Cheaper
Wikipedia - distillation de modèles, distillation des connaissances
Contributeurs: Arianne , Claude Coulombe, wiki
