Czym jest gradient z punktu widzenia matematycznego?

Gradient to wektor składający się z pochodnych cząstkowych funkcji względem wszystkich jej zmiennych. Matematycznie, jeśli istnieje funkcja wielu zmiennych (f(x_1, x_2, ..., x_n)), to gradient (\nabla f) jest wektorem:

[ \nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, ..., \frac{\partial f}{\partial x_n} \right) ]

Gradient wskazuje kierunek największego wzrostu funkcji, a jego długość pokazuje szybkość zmiany funkcji w tym kierunku.

W uczeniu maszynowym gradient jest używany do optymalizacji — na przykład w spadku gradientu, gdzie poruszamy się w kierunku przeciwnym do gradientu, aby zminimalizować funkcję straty.

Przykład: dla funkcji (f(x, y) = x^2 + y^2), gradient będzie (\nabla f = (2x, 2y)). W punkcie (1,1) gradient wynosi (2,2), wskazując kierunek największego wzrostu funkcji.