De ce este nevoie de rata de învățare și de ce răspunde?

Rata de învățare (learning rate) este un hiperparametru în algoritmii de învățare automată, în special în metodele de optimizare precum gradient descent. Ea determină cât de mult sunt actualizați parametrii modelului la fiecare pas de antrenament.

Dacă rata de învățare este prea mare, modelul poate "sări" peste minimul funcției de eroare și să nu converge. Dacă este prea mică, antrenamentul va fi foarte lent și poate rămâne blocat în minime locale.

Exemplu: la actualizarea greutăților unei rețele neuronale

weights = weights - learning_rate * gradient

Aici, learning_rate controlează dimensiunea pasului în direcția reducerii erorii. Alegerea corectă a ratei de învățare este importantă pentru un antrenament eficient și stabil al modelului.