Cum se determină direcția de schimbare a x în timpul coborârii gradientului?

Direcția de schimbare a parametrului ( x ) în timpul descendentului gradientului este determinată de gradientul negativ al funcției de pierdere ( L(x) ) în raport cu acest parametru:

[ x_nou = x_vechi - \eta \nabla_x L(x_vechi) ]

unde:

• ( \nabla_x L(x) ) — gradientul funcției de pierdere în raport cu ( x ), indicând direcția de creștere maximă a ( L ).
• ( \eta > 0 ) — rata de învățare.

Deoarece gradientul indică direcția de creștere maximă a funcției, pentru a o minimiza, parametrul este modificat în direcția opusă — conform gradientului negativ.

Astfel, se calculează gradientul în punctul curent și se merge în direcția de scădere a funcției, ajustând ( x ) proporțional cu gradientul și rata de învățare.