Jak określić kierunek zmiany x podczas spadku gradientu?

Kierunek zmiany parametru ( x ) podczas spadku gradientu jest określany przez ujemny gradient funkcji straty ( L(x) ) względem tego parametru:

[ x_nowy = x_stary - \eta \nabla_x L(x_stary) ]

gdzie:

• ( \nabla_x L(x) ) — gradient funkcji straty względem ( x ), wskazujący kierunek największego wzrostu ( L ).
• ( \eta > 0 ) — współczynnik uczenia się.

Ponieważ gradient wskazuje kierunek maksymalnego wzrostu funkcji, aby ją zminimalizować, parametr jest zmieniany w przeciwnym kierunku — zgodnie z ujemnym gradientem.

W ten sposób oblicza się gradient w bieżącym punkcie i porusza się w kierunku zmniejszania funkcji, korygując ( x ) o wartość proporcjonalną do gradientu i kroku uczenia się.