Wie bestimmt man die Richtung der Änderung von x beim Gradientenabstieg?

Die Richtung der Änderung des Parameters ( x ) beim Gradientenabstieg wird durch den negativen Gradienten der Verlustfunktion ( L(x) ) bezüglich dieses Parameters bestimmt:

[ x_{neu} = x_{alt} - \eta \nabla_x L(x_{alt}) ]

wobei:

• ( \nabla_x L(x) ) — der Gradient der Verlustfunktion bezüglich ( x ), der die Richtung des größten Anstiegs von ( L ) angibt.
• ( \eta > 0 ) — die Lernrate.

Da der Gradient die Richtung der maximalen Zunahme der Funktion angibt, wird der Parameter in die entgegengesetzte Richtung — entlang des negativen Gradienten — angepasst, um die Funktion zu minimieren.

Daher wird der Gradient am aktuellen Punkt berechnet und in Richtung der Funktionsabnahme bewegt, wobei ( x ) um eine proportionale Menge zum Gradienten und zur Lernrate angepasst wird.