Prečo sa nemôže učiť len z výstupov v gradientovom boostingu?

V gradientovom boostingu je učenje izvedené na zvyškoch (gradientoch chyby), nie na samotných výstupoch predchádzajúcich modelov. Ak sa pokúsite trénovať nasledujúci základný algoritmus iba na výstupoch predchádzajúcich, model nebude správne minimalizovať chybu, pretože nezohľadňuje smer a veľkosť chyby, iba konečný predpoveď.

Učenie na gradientoch umožňuje postupne opravovať chyby predchádzajúcich modelov, čo zabezpečuje konvergenciu a zlepšenie kvality. Ak sa trénuje iba na výstupoch, model sa môže pretrénovať alebo nedosiahnuť optimum, pretože nezohľadňuje, ako veľmi a ktorým smerom je potrebné upraviť predpovede.

Príklad: v klasickom gradientovom boostingu sa nasledujúci regresor trénuje na rozdiele medzi skutočnými hodnotami a aktuálnymi predpoveďami (zvyšky), nie na samotných predpovediach.