O que é um gradiente do ponto de vista matemático?

O gradiente é um vetor que consiste nas derivadas parciais de uma função em relação a todas as suas variáveis. Matematicamente, se houver uma função de várias variáveis (f(x_1, x_2, ..., x_n)), então o gradiente (\nabla f) é um vetor:

[ \nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, ..., \frac{\partial f}{\partial x_n} \right) ]

O gradiente indica a direção do maior aumento da função e seu comprimento mostra a velocidade de mudança da função nessa direção.

Em aprendizagem de máquina, o gradiente é usado para otimizar — por exemplo, no descenso do gradiente, onde nos movemos na direção oposta ao gradiente para minimizar a função de perda.

Exemplo: para a função (f(x, y) = x^2 + y^2), o gradiente será (\nabla f = (2x, 2y)). No ponto (1,1), o gradiente é (2,2), indicando a direção do maior crescimento da função.