Čo je to gradient z pohľadu matematiky?

Gradient je vektor, ktorý sa skladá z čiastkových derivácií funkcie vzhľadom na všetky jej premenné. Matematicky, ak existuje funkcia s viacerými premennými (f(x_1, x_2, ..., x_n)), potom je gradient (\nabla f) vektor:

[ \nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, ..., \frac{\partial f}{\partial x_n} \right) ]

Gradient ukazuje smer najväčšieho rastu funkcie a jeho dĺžka ukazuje rýchlosť zmeny funkcie v tomto smere.

V strojovom učení sa gradient používa na optimalizáciu — napríklad pri gradientovom zostupe, kde sa pohybujeme v opačnom smere od gradientu, aby sme minimalizovali stratu.

Príklad: pre funkciu (f(x, y) = x^2 + y^2) bude gradient (\nabla f = (2x, 2y)). V bode (1,1) je gradient (2,2), čo ukazuje smer najväčšieho rastu funkcie.