Dlaczego nie można uczyć się po prostu na wyjściach z gradientowego boostingu?

W gradient boosting, trening odbywa się na resztkach (gradientach błędu), a nie na samych wyjściach poprzednich modeli. Jeśli próbujesz trenować kolejny podstawowy algorytm tylko na wyjściach poprzednich, model nie będzie poprawnie minimalizować błędu, ponieważ nie uwzględnia kierunku i wielkości błędu, a tylko końcowej prognozy.

Trening na gradientach pozwala na sekwencyjne poprawianie błędów poprzednich modeli, co zapewnia zbieżność i poprawę jakości. Jeśli trenuje się tylko na wyjściach, model może się przeuczyć lub nie osiągnąć optymalnego wyniku, ponieważ nie uwzględnia, jak mocno i w jakim kierunku należy korygować prognozy.

Przykład: w klasycznym boosting'u gradientowym, następny regresor jest trenowany na różnicy między wartościami rzeczywistymi a aktualnymi prognozami (resztami), a nie na samych prognozach.