Normalisation du gradient


Définition

La normalisation du gradient est une technique utilisée en apprentissage profond pour stabiliser l'entraînement en redimensionnant les gradients, les empêchant de devenir trop grands ou trop petits, atténuant ainsi les problèmes comme l'evanescence ou l'explosion des gradients.

Français

normalisation du gradient

Anglais

gradient normalization

gradient normalisation

Sources

Medium - gradient normalization

Henwood (2024) - normalisation du gradient

Cherrière (2023) - normalisation du gradient

Contributeurs: Patrick Drouin