Защо не може да се учи само от изходите в градиентното буустинг?

При градиентен буустинг обучението се извършва върху остатъците (градиентите на грешката), а не върху самите изходи на предишните модели. Ако се опитате да обучите следващия базов алгоритъм само върху изходите на предишните, моделът няма да минимизира правилно грешката, тъй като не взема предвид посоката и големината на грешката, а само крайната прогноза.

Обучението върху градиентите позволява последователно коригиране на грешките на предишните модели, което осигурява сближаване и подобряване на качеството. Ако се обучава само върху изходите, моделът може да се пренастрои или да не достигне оптимума, тъй като не отчита колко силно и в каква посока трябва да се коригират прогнозите.

Пример: в класическото градиентно буустинг следващият регресор се обучава върху разликата между истинските стойности и текущите прогнози (остатъците), а не върху самите прогнози.