Préentraînement
Définition
Le préentraînement consiste à entraîner un modèle d'apprentissage, typiquement un grand réseau de neurones profond, pour une tâche générique sur un immense jeu de données.
Le résultat est un modèle préentraîné qui servira à l'apprentissage par transfert.
Voir aussi : Post-entraînement
Compléments
Un grand modèle préentraîné pour un problème générique apprend toutes sortes de régularités statistiques propres au type de données (images, voix, textes) sur lequel il est entraîné. Une fois entraînés, ce grand modèle peut être utilisé pour résoudre d’autres problèmes faisant appel au même type de données. Un peaufinage du modèle est habituellement nécessaire en l'entraînant avec des données spécifiques à une nouvelle tâche.
Étant donnée la taille importante des modèles préentraînés, l'étape de préentrainement est généralement réalisée par un nombre restreint d’entreprises possédant des fermes de serveurs infonuagiques équipés de processeurs graphiques.
Français
préentraînement
pré-entraînement (déconseillé)
Anglais
pre-training
pretraining
pre training
Sources
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
