Wat is een gradient vanuit een wiskundig perspectief?

De gradient is een vector die bestaat uit de partiële afgeleiden van een functie met betrekking tot al haar variabelen. Wiskundig, als er een functie van meerdere variabelen (f(x_1, x_2, ..., x_n)) bestaat, dan is de gradient (\nabla f) een vector:

[ \nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, ..., \frac{\partial f}{\partial x_n} \right) ]

De gradient geeft de richting aan van de grootste toename van de functie en de lengte ervan toont de snelheid van verandering van de functie in die richting.

In machine learning wordt de gradient gebruikt voor optimalisatie — bijvoorbeeld bij gradient descent, waarbij we in de tegenovergestelde richting van de gradient bewegen om de verliesfunctie te minimaliseren.

Voorbeeld: voor de functie (f(x, y) = x^2 + y^2), is de gradient (\nabla f = (2x, 2y)). Op het punt (1,1) is de gradient (2,2), wat de richting van de grootste groei van de functie aangeeft.