Какво е градиент от математическа гледна точка?

Градиентът е вектор, състоящ се от частните производни на функцията по всички нейни променливи. Математически, ако съществува функция с няколко променливи (f(x_1, x_2, ..., x_n)), тогава градиентът (\nabla f) е вектор:

[ \nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, ..., \frac{\partial f}{\partial x_n} \right) ]

Градиентът показва посоката на най-голям растеж на функцията и неговата дължина показва скоростта на промяна на функцията в тази посока.

В машинното обучение градиентът се използва за оптимизация — например при градиентен спуск, където се движим в противоположната посока на градиента, за да минимизираме функцията на загубите.

Пример: за функцията (f(x, y) = x^2 + y^2), градиентът ще бъде (\nabla f = (2x, 2y)). В точката (1,1), градиентът е (2,2), показвайки посоката на най-голям растеж на функцията.