Kas yra gradientas iš matematinės perspektyvos?

Gradientas yra vektorius, sudarytas iš dalinių išvestinių funkcijos pagal visas jos kintamąsias. Matematiškai, jei egzistuoja kelių kintamųjų funkcija (f(x_1, x_2, ..., x_n)), tada gradientas (\nabla f) yra vektorius:

[ \nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, ..., \frac{\partial f}{\partial x_n} \right) ]

Gradientas nurodo didžiausio funkcijos augimo kryptį, o jo ilgis rodo funkcijos pokyčio greitį šioje kryptyje.

Mašininio mokymosi kontekste, gradientas naudojamas optimizacijai — pavyzdžiui, gradientinio nusileidimo metu, kai judame priešinga kryptimi nei gradientas, siekdami sumažinti nuostolių funkciją.

Pavyzdys: funkcijai (f(x, y) = x^2 + y^2), gradientas bus (\nabla f = (2x, 2y)). Taške (1,1), gradientas yra (2,2), nurodantis didžiausio funkcijos augimo kryptį.