Čo slúži ako váha v gradientovom boostingu?

V gradientovom boosting-u, váhy sú reprezentované gradientmi, čo sú odvodené funkcie straty vzhľadom na predpovede modelu v aktuálnom kroku. Tieto gradienty ukazujú, ako veľmi je potrebné upraviť predpovede na zníženie chyby.

V každom kroku sa vytvorí nový model (zvyčajne strom), ktorý sa učí predpovedať záporné gradienty (chyby) predchádzajúceho modelu. Takže váhy sú chyby, ktoré je potrebné opraviť, a tieto riadia tréning ďalšieho modelu na zlepšenie konečného výsledku.

Príklad: ak je funkcia straty MSE, gradienty budú rozdielom medzi predpovedanými a skutočnými hodnotami, a nový model sa pokúsi predpovedať tento rozdiel.