Как да определим посоката на промяна на x при градиентен спуск?

Посоката на промяна на параметъра ( x ) при градиентен спуск се определя от отрицателния градиент на функцията на загубите ( L(x) ) по този параметър:

[ x_нов = x_стар - \eta \nabla_x L(x_стар) ]

където:

• ( \nabla_x L(x) ) — градиентът на функцията на загубите по ( x ), който указва посоката на най-голямо увеличение на ( L ).
• ( \eta > 0 ) — скоростта на обучение.

Тъй като градиентът указва посоката на максимално увеличение на функцията, за да я минимизираме, параметърът се променя в противоположната посока — по отрицателния градиент.

Така се изчислява градиентът в текущата точка и се движи към намаляване на функцията, като ( x ) се коригира пропорционално на градиента и стъпката на обучение.