Miért nem lehet csak a gradient boosting kimeneteiből tanulni?

A gradiens alapú boosting esetén a tanítás a hibák (gradiensek) maradványain történik, nem pedig a korábbi modellek kimenetein. Ha megpróbálod a következő alap algoritmust csak a korábbi kimenetekre tanítani, a modell nem fogja helyesen minimalizálni a hibát, mivel nem veszi figyelembe a hiba irányát és nagyságát, csak a végső előrejelzést.

A gradiens alapú tanítás lehetővé teszi a korábbi modellek hibáinak szekvenciális javítását, ezáltal konvergenciát és minőségjavulást biztosítva. Ha csak a kimenetekre tanítasz, a modell túlilleszthet vagy nem érheti el az optimális értéket, mivel nem veszi figyelembe, hogy mennyire és milyen irányban kell korrigálni a jóslatokat.

Példa: a klasszikus gradiens boosting esetén a következő regresszor a valódi értékek és a jelenlegi jóslatok közötti különbségen (maradványokon) tanul, nem pedig magukon a jóslatokon.