Kā noteikt x izmaiņas virzienu gradienta nolaišanās laikā?

Parametra ( x ) izmaiņas virziens gradienta krituma laikā ir noteikts ar negatīvo funkcijas zaudējumu ( L(x) ) gradientu attiecībā uz šo parametru:

[ x_jauns = x_vecais - \eta \nabla_x L(x_vecais) ]

kur:

• ( \nabla_x L(x) ) — zaudējumu funkcijas gradients attiecībā uz ( x ), kas norāda uz lielākā pieauguma virzienu ( L ).
• ( \eta > 0 ) — mācību solis.

Tā kā gradients norāda uz funkcijas maksimālā pieauguma virzienu, to minimizējot, parametrs tiek mainīts pretējā virzienā — pēc negatīvā gradienta.

Tādējādi tiek aprēķināts gradients pašreizējā punktā un virzās uz funkcijas samazināšanas pusi, koriģējot ( x ) proporcionāli gradientam un mācību solim.