Co je to gradient boosting? Kde se objevuje gradient?

Gradient boosting je metoda ensemble učení, která postupně staví model tím, že přidává nové slabé modely (obvykle rozhodovací stromy), aby opravila chyby předchozích.

Gradient se objevuje, když je každý nový model trénován na gradientu ztrátové funkce vzhledem k předpovědím aktuálního ensemble modelu. Jednoduše řečeno, minimalizujeme chybu pomocí gradientního sestupu v prostoru funkcí.

V každém kroku se vypočítá gradient chyby (směr a velikost, ve kterém je třeba zlepšit předpovědi), a nový model je trénován tak, aby předpověděl tento gradient, čímž upravuje konečnou předpověď.

To umožňuje efektivně snižovat chybu a zlepšovat kvalitu modelu prostřednictvím sekvenčního učení na chybách předchozích modelů.