Hogyan határozható meg x változásának iránya a gradiens csökkenése során?

A paraméter ( x ) változásának iránya a gradiens csökkenése során a veszteségfüggvény ( L(x) ) negatív gradiensével van meghatározva:

[ x_új = x_régi - \eta \nabla_x L(x_régi) ]

ahol:

• ( \nabla_x L(x) ) — a veszteségfüggvény gradiens értéke ( x ) szerint, amely a ( L ) legnagyobb növekedési irányát mutatja.
• ( \eta > 0 ) — a tanulási ráta.

Mivel a gradiens a függvény maximális növekedési irányát mutatja, a függvény minimalizálása érdekében a paramétert ellentétes irányba — a negatív gradiens szerint — módosítják.

Így a jelenlegi ponton kiszámítják a gradiens értékét, és a függvény csökkenési irányába mozognak, a ( x ) értékét a gradiens és a tanulási ráta arányában állítva be.