Come determinare la direzione del cambiamento di x durante la discesa del gradiente?

La direzione del cambiamento del parametro ( x ) nel discesa del gradiente è determinata dal gradiente negativo della funzione di perdita ( L(x) ) rispetto a questo parametro:

[ x_nuovo = x_vecchio - \eta \nabla_x L(x_vecchio) ]

dove:

• ( \nabla_x L(x) ) — il gradiente della funzione di perdita rispetto a ( x ), che indica la direzione di massimo aumento di ( L ).
• ( \eta > 0 ) — il tasso di apprendimento.

Poiché il gradiente indica la direzione di massimo incremento della funzione, per minimizzarla, il parametro viene modificato nella direzione opposta — lungo il gradiente negativo.

Pertanto, si calcola il gradiente nel punto attuale e ci si muove nella direzione della diminuzione della funzione, regolando ( x ) di una quantità proporzionale al gradiente e al tasso di apprendimento.