Kaip nustatyti x pokyčio kryptį gradientinio nusileidimo metu?

Parametro ( x ) pokyčio kryptis gradiento nusileidimo metu yra nustatoma pagal neigiamą funkcijos nuostolių ( L(x) ) gradientą, susijusį su šiuo parametru:

[ x_naujas = x_senas - \eta \nabla_x L(x_senas) ]

kur:

• ( \nabla_x L(x) ) — nuostolių funkcijos gradientas pagal ( x ), nurodantis didžiausio padidėjimo kryptį ( L ).
• ( \eta > 0 ) — mokymosi žingsnio dydis.

Kadangi gradientas nurodo funkcijos maksimalaus padidėjimo kryptį, norint ją sumažinti, parametras keičiamas priešinga kryptimi — pagal neigiamą gradientą.

Taip apskaičiuojamas gradientas dabartinėje taške ir juda funkcijos mažėjimo kryptimi, koreguojant ( x ) proporcingai gradientui ir mokymosi žingsnio dydžiui.