Mi az a gradiens matematikai szempontból?

A gradiens egy vektor, amely a függvény összes változójára vonatkozó részleges deriváltakból áll. Matematikailag, ha létezik többváltozós függvény (f(x_1, x_2, ..., x_n)), akkor a gradiens (\nabla f) egy vektor:

[ \nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, ..., \frac{\partial f}{\partial x_n} \right) ]

A gradiens megmutatja a függvény legnagyobb növekedésének irányát, és hosszúsága megmutatja a függvény változásának sebességét ebben az irányban.

Gépi tanulásban a gradiens a veszteségfüggvény optimalizálására szolgál — például a gradienscsökkenés során, ahol az ellenkező irányba mozdulunk a gradiensnek, hogy minimalizáljuk a veszteséget.

Példa: a (f(x, y) = x^2 + y^2) függvény esetén a gradiens (\nabla f = (2x, 2y)). A (1,1) pontban a gradiens (2,2), ami a függvény legnagyobb növekedési irányát mutatja.