Descente du gradient
Définition
Technique permettant de minimiser les erreurs en calculant le gradient de la fonction d'erreur par rapport aux paramètres d'un modèle d'apprentissage en fonction des données d'entraînement.
La descente du gradient ajuste les paramètres d'un modèle d'apprentissage de façon itérative en trouvant graduellement la meilleure combinaison de poids et de biais pour minimiser l'erreur.
Compléments
« Descente du gradient » ou « descente de gradient ». En pratique, « descente de gradient » est plus couramment utilisée, mais l'expression « descente du gradient » est plus précise car elle insiste sur le fait que l'on suit la descente « du » gradient, c'est-à-dire le gradient en tant qu'entité mathématique.
Donc, les deux sont acceptables, mais « descente de gradient » est généralement plus fréquente.
Par abus de langage on utilise « descente de gradient » pour faire référence à la fois à la « descente de gradient stochastique » et à la « descente de gradient par mini-lot ». En mathématiques, la descente de gradient prend en considération l'ensemble des points sans échantillonnage, c'est pourquoi on parle alors de « vraie descente de gradient » (true gradient descent).
Français
descente du gradient
descente de gradient
descente du gradient stochastique
descente de gradient stochastique
Anglais
gradient descent
stochastic gradient descent
Sources
Source : Goodfellow, Ian; Bengio, Yoshua et Aaron Courville (2018), Apprentissage profond, Paris, Massot éditions, 800 pages.
Source : Fourure, Damien (2017). Réseaux de neurones convolutifs pour la segmentation sémantique et l'apprentissage d'invariants de couleur. thèse de doctorat, Université de Lyon, 178 pages.
Contributeurs: Evan Brach, Claire Gorjux, Claude Coulombe, Jacques Barolet, Patrick Drouin, wiki
