Šta je gradijent sa matematičke tačke gledišta?

Градијент је вектор који се састоји од парцијалних деривата функције у односу на све њене променљиве. Математички, ако постоји функција са више променљивих (f(x_1, x_2, ..., x_n)), онда је градијент (\nabla f) вектор:

[ \nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, ..., \frac{\partial f}{\partial x_n} \right) ]

Градијент указује на смер највећег раста функције, а његова дужина показује брзину промене функције у том смеру.

У машинском учењу, градијент се користи за оптимизацију — на пример, у градијентном спуштању, где се крећемо у супротном смеру од градијента како бисмо минимизовали функцију губитка.

Пример: за функцију (f(x, y) = x^2 + y^2), градијент ће бити (\nabla f = (2x, 2y)). У тачки (1,1), градијент је (2,2), указујући на смер највећег раста функције.