Co je to gradient z pohledu matematiky?

Gradient je vektor složený z parciálních derivací funkce vzhledem ke všem jejím proměnným. Matematicky, pokud existuje funkce více proměnných (f(x_1, x_2, ..., x_n)), pak je gradient (\nabla f) vektor:

[ \nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, ..., \frac{\partial f}{\partial x_n} \right) ]

Gradient ukazuje směr největšího růstu funkce a jeho délka ukazuje rychlost změny funkce v tomto směru.

V strojovém učení se gradient používá k optimalizaci — například při gradientním sestupu, kde se pohybujeme směrem opačným ke gradientu, abychom minimalizovali ztrátovou funkci.

Příklad: pro funkci (f(x, y) = x^2 + y^2) bude gradient (\nabla f = (2x, 2y)). V bodě (1,1) je gradient (2,2), což ukazuje směr největšího růstu funkce.