Comment déterminer la direction du changement de x lors de la descente de gradient?

La direction du changement du paramètre ( x ) lors de la descente de gradient est déterminée par le gradient négatif de la fonction de perte ( L(x) ) par rapport à ce paramètre :

[ x_{nouveau} = x_{ancien} - \eta \nabla_x L(x_{ancien}) ]

où :

• ( \nabla_x L(x) ) — le gradient de la fonction de perte par rapport à ( x ), indiquant la direction de la plus forte augmentation de ( L ).
• ( \eta > 0 ) — le taux d'apprentissage.

Puisque le gradient indique la direction de l'augmentation maximale de la fonction, pour la minimiser, le paramètre est modifié dans la direction opposée — selon le gradient négatif.

Ainsi, le gradient est calculé au point actuel et le mouvement se fait dans la direction de la diminution de la fonction, en ajustant ( x ) d'une quantité proportionnelle au gradient et au taux d'apprentissage.