Ce este boosting-ul pe gradient? Unde apare gradientul?

Boostingul pe gradient este o metodă de învățare în ansamblu care construiește un model secvențial, adăugând noi modele slabe (de obicei arbori de decizie) pentru a corecta erorile anterioare.

Gradientul apare atunci când fiecare nou model este antrenat pe gradientul funcției de pierdere în raport cu predicțiile modelului actual de ansamblu. Pe scurt, minimizăm eroarea folosind gradient descent în spațiul funcțiilor.

La fiecare pas, se calculează gradientul erorii (direcția și mărimea în care trebuie îmbunătățite predicțiile), iar noul model este antrenat pentru a prezice acest gradient, ajustând astfel predicția finală.

Acest lucru permite reducerea eficientă a erorii și îmbunătățirea calității modelului prin învățare secvențială pe baza erorilor modelelor anterioare.