Jak určit směr změny x při gradientovém sestupu?

Směr změny parametru ( x ) při gradientovém sestupu je určen záporným gradientem ztrátové funkce ( L(x) ) vzhledem k tomuto parametru:

[ x_nový = x_starý - \eta \nabla_x L(x_starý) ]

kde:

• ( \nabla_x L(x) ) — gradient ztrátové funkce vzhledem k ( x ), který ukazuje směr největšího nárůstu ( L ).
• ( \eta > 0 ) — krok učení.

Protože gradient ukazuje směr maximálního nárůstu funkce, pro její minimalizaci je parametr upravován v opačném směru — podle záporného gradientu.

Tímto způsobem se vypočítá gradient v aktuálním bodě a pohybuje se směrem ke snižování funkce, přičemž ( x ) je upraveno v úměrné míře k gradientu a kroku učení.