Hoe bepaal je de richting van de verandering van x bij gradient descent?

De richting van de verandering van de parameter ( x ) bij gradient descent wordt bepaald door de negatieve gradient van de verliesfunctie ( L(x) ) met betrekking tot deze parameter:

[ x_nieuw = x_oud - \eta \nabla_x L(x_oud) ]

waar:

• ( \nabla_x L(x) ) — de gradient van de verliesfunctie met betrekking tot ( x ), die de richting van de grootste toename van ( L ) aangeeft.
• ( \eta > 0 ) — de leersnelheid.

Omdat de gradient de richting van de maximale toename van de functie aangeeft, wordt de parameter in de tegenovergestelde richting aangepast — volgens de negatieve gradient.

Zo wordt de gradient berekend op het huidige punt en wordt in de richting van de afname van de functie bewogen, waarbij ( x ) wordt aangepast in een hoeveelheid die evenredig is aan de gradient en de leersnelheid.