Qu'est-ce qu'un gradient d'un point de vue mathématique?

Le gradient est un vecteur composé des dérivées partielles d'une fonction par rapport à toutes ses variables. Mathématiquement, si une fonction de plusieurs variables (f(x_1, x_2, ..., x_n)) existe, alors le gradient (\nabla f) est un vecteur:

[ \nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, ..., \frac{\partial f}{\partial x_n} \right) ]

Le gradient indique la direction de la croissance maximale de la fonction et sa longueur montre la vitesse de changement de la fonction dans cette direction.

En apprentissage automatique, le gradient est utilisé pour l'optimisation — par exemple, dans la descente de gradient, où nous nous déplaçons dans la direction opposée au gradient pour minimiser la fonction de perte.

Exemple : pour la fonction (f(x, y) = x^2 + y^2), le gradient sera (\nabla f = (2x, 2y)). Au point (1,1), le gradient est (2,2), indiquant la direction de la croissance maximale de la fonction.