Kako odrediti pravac promene x pri gradijentnom spustu?

Smer promene parametra ( x ) tokom gradijentnog spusta određuje se negativnim gradijentom funkcije gubitka ( L(x) ) u odnosu na taj parametar:

[ x_novo = x_staro - \eta \nabla_x L(x_staro) ]

gde:

• ( \nabla_x L(x) ) — gradijent funkcije gubitka u odnosu na ( x ), koji ukazuje na pravac najvećeg povećanja ( L ).
• ( \eta > 0 ) — stopa učenja.

Pošto gradijent ukazuje na pravac maksimalnog povećanja funkcije, da bismo je minimizirali, parametar se menja u suprotnom pravcu — duž negativnog gradijenta.

Tako se računa gradijent u trenutnoj tački i kreće se u pravcu smanjenja funkcije, prilagođavajući ( x ) u proporcionalnoj meri gradijentu i stopi učenja.