Kuidas määrata x muutumise suund gradientlanguse ajal?

Parameetri ( x ) muutmise suund gradientlaskumise ajal määratakse negatiivse kaotusefunktsiooni ( L(x) ) gradienti järgi selle parameetri suhtes:

[ x_uus = x_vana - \eta \nabla_x L(x_vana) ]

kus:

• ( \nabla_x L(x) ) — kaotusefunktsiooni gradient ( x ) suhtes, mis näitab suurima tõusu suunda ( L ).
• ( \eta > 0 ) — õppimiskiirus.

Kuna gradient näitab funktsiooni maksimaalse tõusu suunda, selle minimeerimiseks muudetakse parameetrit vastupidises suunas — negatiivse gradienti suunas.

Seega arvutatakse gradient praeguses punktis ja liigutakse funktsiooni vähenemise suunas, kohandades ( x ) proportsionaalselt gradienti ja õppimiskiirusega.