Ce acționează ca o balanță în boosting-ul de gradient?

În boostingul pe gradient, greutățile sunt reprezentate de gradienti, care sunt derivatele funcției de pierdere în raport cu predicțiile modelului la pasul curent. Acești gradienti arată cât de mult trebuie ajustate predicțiile pentru a reduce eroarea.

La fiecare pas, se construiește un nou model (de obicei un copac), care învață să prezică gradientii negativi (erorile) ale modelului anterior. Astfel, greutățile sunt erorile care trebuie corectate, și ele ghidează antrenamentul următorului model pentru a îmbunătăți rezultatul final.

Exemplu: dacă funcția de pierdere este MSE, gradientii vor fi diferența dintre valorile prezise și cele reale, iar noul model va încerca să prezică această diferență.