¿Qué es un gradiente desde un punto de vista matemático?

El gradiente es un vector que consiste en las derivadas parciales de una función respecto a todas sus variables. Matemáticamente, si hay una función de varias variables (f(x_1, x_2, ..., x_n)), entonces el gradiente (\nabla f) es un vector:

[ \nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, ..., \frac{\partial f}{\partial x_n} \right) ]

El gradiente indica la dirección del mayor aumento de la función y su longitud muestra la velocidad de cambio de la función en esa dirección.

En aprendizaje automático, el gradiente se usa para optimizar, por ejemplo, en descenso de gradiente, donde nos movemos en la dirección opuesta al gradiente para minimizar la función de pérdida.

Ejemplo: para la función (f(x, y) = x^2 + y^2), el gradiente será (\nabla f = (2x, 2y)). En el punto (1,1), el gradiente es (2,2), indicando la dirección del mayor crecimiento de la función.