Ce este un gradient din punct de vedere matematic?

Gradientul este un vector format din derivatele parțiale ale unei funcții în raport cu toate variabilele sale. Din punct de vedere matematic, dacă există o funcție cu mai multe variabile (f(x_1, x_2, ..., x_n)), atunci gradientul (\nabla f) este un vector:

[ \nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, ..., \frac{\partial f}{\partial x_n} \right) ]

Gradientul indică direcția de creștere maximă a funcției, iar lungimea sa arată viteza de schimbare a funcției în această direcție.

În învățarea automată, gradientul este folosit pentru optimizare — de exemplu, în coborârea gradientului, unde ne deplasăm în direcția opusă gradientului pentru a minimiza funcția de pierdere.

Exemplu: pentru funcția (f(x, y) = x^2 + y^2), gradientul va fi (\nabla f = (2x, 2y)). În punctul (1,1), gradientul este (2,2), indicând direcția creșterii maxime a funcției.