¿Cómo determinar la dirección del cambio de x en el descenso de gradiente?

La dirección del cambio del parámetro ( x ) en el descenso de gradiente se determina por el gradiente negativo de la función de pérdida ( L(x) ) respecto a este parámetro:

[ x_{nuevo} = x_{viejo} - \eta \nabla_x L(x_{viejo}) ]

donde:

• ( \nabla_x L(x) ) — el gradiente de la función de pérdida respecto a ( x ), que indica la dirección de mayor aumento de ( L ).
• ( \eta > 0 ) — el tamaño del paso de aprendizaje.

Dado que el gradiente indica la dirección de incremento máximo de la función, para minimizarla, el parámetro se ajusta en la dirección opuesta — en la dirección del gradiente negativo.

Por lo tanto, se calcula el gradiente en el punto actual y se mueve en la dirección de la disminución de la función, ajustando ( x ) en una cantidad proporcional al gradiente y al tamaño del paso de aprendizaje.