« Évanescence du gradient » : différence entre les versions

Dernière version du 21 juillet 2025 à 21:40

Définition

Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et par conséquent l'arrêt de l'apprentissage.

Compléments

Nous recommandons l'expression « évanescence du gradient » pour sa spécificité et sa beauté langagière.

Français

évanescence du gradient

disparition du gradient

dissipation du gradients

problème de l'évanescence du gradient

Anglais

gradient vanishing

gradient vanishing problem

Español

evanescencia gradiente

Problema planteado, en una red neuronal profunda, por la disminución muy rápida de los valores del gradiente durante la retropropagación, que conduce a la anulación del gradiente y a la consiguiente interrupción del aprendizaje.

Sources

Source: Pascanu, Razvan (2015). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.

Source : openclassrooms.com

Source: Claude Coulombe ( discussion)

Source: Termino

101 MOTS DE L' IA
Ce terme est sélectionné pour le livre « Les 101 mots de l'intelligence artificielle »

@@ Ligne 1 : / Ligne 1 : @@
-==Domaine==
-[[Category:Intelligence artificielle]]
-Intelligence artificielle<br>
-[[Catégorie:Apprentissage automatique]]
-Apprentissage automatique<br>
-[[Catégorie:Réseau de neurones artificiels]]
-Réseau de neurones artificiels<br>
-[[Catégorie:Apprentissage profond]]
-Apprentissage profond<br>
-[[Category:Coulombe2]]
-[[Category:scotty2]]
-[[Category:GRAND LEXIQUE FRANÇAIS]]
 ==Définition==
-Le problème de la disparition du gradient (ou l'évanescence du gradient) est l'opposé du problème d'explosion du gradient. Dans les réseaux de neurones profonds, la valeur des gradients peut diminuer fortement pendant la rétropropagation, entraînant l'annulation du gradient (en anglais ''number underflow'') où un gradient nul signifie l'arrêt de l'apprentissage.
+Problème posé, dans un [[réseau de neurones profond]], par la diminution très rapide des valeurs des gradients pendant la [[rétropropagation]] entraînant l'annulation du [[gradient]] et par conséquent l'arrêt de l'apprentissage.
-Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), et la normalisation par lots (batch normalization) .
+==Compléments==
+Nous recommandons l'expression « évanescence du gradient » pour sa spécificité et sa <i>beauté</i> langagière.
 ==Français ==
+'''évanescence du gradient'''
+'''disparition du gradient'''
-'''problème de la disparition du gradient'''  n.m.
+'''dissipation du gradients'''
-'''évanescence du gradient'''  n.f.
+'''problème de l'évanescence du gradient'''
-'''disparition des gradients'''  n.f.
+==Anglais==
+'''gradient vanishing'''
+'''gradient vanishing problem'''
-==Anglais==
+==Español==
-'''Vanishing Gradient Problem'''
+''''' evanescencia gradiente '''''
+''Problema planteado, en una red neuronal profunda, por la disminución muy rápida de los valores del gradiente durante la retropropagación, que conduce a la anulación del gradiente y a la consiguiente interrupción del aprendizaje.''
+==Sources==
+Source: Pascanu, Razvan (2015). ''On Recurrent and Deep Neural Networks'', thèse de doctorat, Université de Montréal, 267 pages.
+[https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons Source : ''openclassrooms.com'']
+[[Utilisateur:Claude COULOMBE | Source: Claude Coulombe]]            ([[Discussion utilisateur:Claude COULOMBE | discussion]])
+[[Utilisateur:Patrickdrouin  | Source: Termino  ]]
+{{Modèle:101}}
-[https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons Source : openclassrooms.com]
+[[Category:GRAND LEXIQUE FRANÇAIS]]
+[[Catégorie:101]]
-[[Utilisateur:Claude COULOMBE | source : Claude Coulombe]]            ([[Discussion utilisateur:Claude COULOMBE | discussion]])
+{{DEFAULTSORT: evanescence du gradient}}

« Évanescence du gradient » : différence entre les versions