Entraînement en précision mixte
ROBOTIQUE
Définition
Entraîner des réseaux de neurones en utilisant un mélange d'arithmétique en virgule flottante 16 bits (FP16 ou BF16) et 32 bits (FP32) pour réduire l'utilisation de mémoire et augmenter le débit tout en maintenant la stabilité de l'entraînement.
La précision mixte est standard pour l'entraînement de grands modèles d'apprentissage robotique sur GPU — elle réduit approximativement de moitié la consommation de mémoire et double le débit par rapport à l'entraînement complet en FP32.
Français
Entraînement en précision mixte
Anglais
Mixed Precision Training
Sources
Contributeurs: wiki
