Ako určiť smer zmeny x pri gradientnom zostupe?

Smer zmeny parametra ( x ) pri gradientovom zostupe je určený záporným gradientom funkcie straty ( L(x) ) vzhľadom na tento parameter:

[ x_nový = x_starý - \eta \nabla_x L(x_starý) ]

kde:

• ( \nabla_x L(x) ) — gradient funkcie straty vzhľadom na ( x ), ktorý ukazuje smer najväčšieho nárastu ( L ).
• ( \eta > 0 ) — rýchlosť učenia.

Keďže gradient ukazuje smer maximálneho nárastu funkcie, na jej minimalizáciu sa parameter mení v opačnom smere — podľa záporného gradientu.

Takto sa vypočíta gradient v aktuálnom bode a pohybuje sa smerom k znižovaniu funkcie, upravujúc ( x ) v úmernej miere k gradientu a rýchlosti učenia.