Что такое градиент с математической точки зрения?

Градиент — это вектор, состоящий из частных производных функции по всем её переменным. Математически, если есть функция нескольких переменных (f(x_1, x_2, ..., x_n)), то градиент (\nabla f) — это вектор:

[ \nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, ..., \frac{\partial f}{\partial x_n} \right) ]

Градиент указывает направление наибольшего возрастания функции и его длина показывает скорость изменения функции в этом направлении.

В машинном обучении градиент используется для оптимизации — например, в градиентном спуске, где мы движемся в направлении, противоположном градиенту, чтобы минимизировать функцию потерь.

Пример: для функции (f(x, y) = x^2 + y^2) градиент будет (\nabla f = (2x, 2y)). В точке (1,1) градиент равен (2,2), указывая направление наибольшего роста функции.