Čo je gradient boosting? Kde sa objavuje gradient?

Gradient boosting je metóda ansamblového učenia, ktorá postupne buduje model pridávaním nových slabých modelov (zvyčajne rozhodovacích stromov), aby opravil chyby predchádzajúcich.

Gradient sa objavuje, keď sa každý nový model trénuje na gradiente funkcie straty vzhľadom na predpovede aktuálneho ansamblového modelu. Jednoducho povedané, minimalizujeme chybu pomocou gradientného zostupu v priestore funkcií.

V každom kroku sa vypočíta gradient chyby (smer a veľkosť, v ktorých je potrebné zlepšiť predpovede), a nový model sa trénuje tak, aby predpovedal tento gradient, čím upravuje konečnú predpoveď.

Toto umožňuje efektívne znižovať chybu a zlepšovať kvalitu modelu prostredníctvom sekvenčného učenia na chybách predchádzajúcich modelov.