Was ist ein Gradient aus mathematischer Sicht?

Der Gradient ist ein Vektor, der aus den partiellen Ableitungen einer Funktion bezüglich aller ihrer Variablen besteht. Mathematisch, wenn es eine Funktion mehrerer Variablen (f(x_1, x_2, ..., x_n)) gibt, dann ist der Gradient (\nabla f) ein Vektor:

[ \nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, ..., \frac{\partial f}{\partial x_n} \right) ]

Der Gradient zeigt die Richtung der größten Zunahme der Funktion an, und seine Länge zeigt die Änderungsrate der Funktion in dieser Richtung.

Im maschinellen Lernen wird der Gradient zur Optimierung verwendet — zum Beispiel beim Gradientenabstieg, bei dem wir uns in Richtung des gegenteiligen Gradienten bewegen, um die Verlustfunktion zu minimieren.

Beispiel: Für die Funktion (f(x, y) = x^2 + y^2) ist der Gradient (\nabla f = (2x, 2y)). Am Punkt (1,1) ist der Gradient (2,2), was die Richtung des größten Wachstums der Funktion anzeigt.