Как определить направление изменения x при градиентном спуске?

Направление изменения параметра ( x ) при градиентном спуске определяется отрицательным градиентом функции потерь ( L(x) ) по этому параметру:

[ x_{new} = x_{old} - \eta \nabla_x L(x_{old}) ]

где:

• ( \nabla_x L(x) ) — градиент функции потерь по ( x ), указывающий направление наибольшего возрастания ( L ).
• ( \eta > 0 ) — шаг обучения (learning rate).

Поскольку градиент указывает направление максимального увеличения функции, чтобы минимизировать функцию, параметр изменяют в противоположном направлении — по отрицательному градиенту.

Таким образом, вычисляют градиент в текущей точке и двигаются в сторону уменьшения функции, корректируя ( x ) на величину, пропорциональную градиенту и шагу обучения.