Corruption silencieuse du modèle
Définition
Résultat d'un problème/bogue lors de l'entraînement d'un grand modèle de langues qui passe inaperçu. Ce genre de problème est relié à des problèmes matériels ou des erreurs de calcul résultant de la distribution du calcul sur plusieurs (nœuds de calcul) processeurs graphiques.
Voir aussi nœud de calcul
Compléments
Attention! Malgré ce que peut laisser croire le terme anglais (silent data corruption), ce ne sont pas les données qui sont corrompues, mais plutôt le modèle.
Français
corruption silencieuse du modèle
corruption silencieuse du modèle à l'entraînement
Anglais
silent data corruption
SDC
silent data error
SDE
Sources
Contributeurs: Arianne Arel, wiki
