Proč nelze učit pouze na výstupech gradientového boosting?

V gradientovém zesílení se učení provádí na zbytcích (gradienty chyby), nikoli na samotných výstupech předchozích modelů. Pokud se pokusíte trénovat následující základní algoritmus pouze na výstupech předchozích, model správně minimalizovat chybu nebude, protože nezohledňuje směr a velikost chyby, pouze konečný předpověď.

Učení na gradientech umožňuje postupně opravovat chyby předchozích modelů, což zajišťuje konvergenci a zlepšení kvality. Pokud se trénuje pouze na výstupech, může se model přetrénovat nebo nedosáhnout optima, protože nezohledňuje, jak moc a jakým směrem je třeba upravit předpovědi.

Příklad: v klasickém gradientovém zesílení se následující regresor trénuje na rozdílu mezi skutečnými hodnotami a aktuálními předpověďmi (zbytkami), nikoli na samotných předpovědích.