« Seuillage de gradient » : différence entre les versions

Dernière version du 1 mai 2025 à 10:38

Définition

Mécanisme couramment utilisé afin d'atténuer le problème d'explosion du gradient en limitant artificiellement la valeur maximale des gradients lors de l'utilisation de la descente de gradient pendant l'entraînement d'un modèle.

Français

seuillage de gradient

écrêtage de gradient

bornement de gradient

Anglais

gradient clipping

Sources

Livre - Aurélien Géron, trad. Anne Bohy - Deep Learning avec Keras et TensorFlow: Mise en oeuvre et cas concrets - écrêtage de gradient

Livre - Ian Goodfellow, Yoshua Bengio, Aaron Courville - L'apprentissage profond - seuillage du gradient

Termino

@@ Ligne 1 : / Ligne 1 : @@
-== Domaine ==
+==Définition==
-[[Category:Vocabulaire]]<br/>
-[[Category:Intelligence artificielle]]Intelligence artificielle<br/>
-[[Category:Apprentissage automatique]] Apprentissage automatique<br/>
-[[Category:Apprentissage profond]] Apprentissage profond<br/>
-[[Category:Termino 2019]]
-[[Category:Scotty]]
-== Définition ==
 Mécanisme couramment utilisé afin d'atténuer le problème d'explosion du gradient en limitant artificiellement la valeur maximale des gradients lors de l'utilisation de la descente de gradient pendant l'entraînement d'un modèle.
+==Français==
+'''seuillage de gradient'''
-== Français ==
+'''écrêtage de gradient'''
-'''écrêtage de gradient'''
+'''bornement de gradient'''
-'''bornement de gradient'''
+==Anglais==
+'''gradient clipping'''
+==Sources==
-Source: Géron, Aurélien (2017). Deep Learning avec TensorFlow - Mise en oeuvre et cas concrets, Paris, Dunod, 360 pages.
+[https://www.dunod.com/sciences-techniques/deep-learning-avec-keras-et-tensorflow-mise-en-oeuvre-et-cas-concrets-0 Livre - Aurélien Géron, trad. Anne Bohy - ''Deep Learning avec Keras et TensorFlow: Mise en oeuvre et cas concrets'' - ''écrêtage de gradient'']
+[https://www.leslibraires.ca/livres/l-apprentissage-profond-ian-goodfellow-9791097160432.html Livre - Ian Goodfellow, Yoshua Bengio, Aaron Courville - ''L'apprentissage profond'' - ''seuillage du gradient'' ]
-== Anglais ==
-'''Gradient Clipping'''
+[[Utilisateur:Patrickdrouin  | Termino  ]]
-Gradient Clipping is a technique to prevent exploding gradients in very deep networks, typically Recurrent Neural Networks. There exist various ways to perform gradient clipping, but the a common one is to normalize the gradients of a parameter vector when its L2 norm exceeds a certain threshold according to new_gradients = gradients * threshold / l2_norm(gradients).
+[[Category:Intelligence artificielle]]
-•	On the difficulty of training recurrent neural networks
+[[Category:Apprentissage automatique]]
+[[Category:Apprentissage profond]]
+[[Category:GRAND LEXIQUE FRANÇAIS]]

« Seuillage de gradient » : différence entre les versions