Почему нельзя учиться просто на выходах в градиентном бустинге?

В градиентном бустинге обучение происходит на остатках (градиентах ошибки), а не на самих выходах предыдущих моделей. Если пытаться обучать следующий базовый алгоритм просто на выходах предыдущих, то модель не будет корректно минимизировать ошибку, так как не учитывает направление и величину ошибки, а только итоговый прогноз.

Обучение на градиентах позволяет последовательно исправлять ошибки предыдущих моделей, что обеспечивает сходимость и улучшение качества. Если же обучаться просто на выходах, то модель может переобучиться или не достичь оптимума, так как не учитывает, насколько сильно и в каком направлении нужно корректировать предсказания.

Пример: в классическом градиентном бустинге следующий регрессор обучается на разнице между истинными значениями и текущими предсказаниями (остатках), а не на самих предсказаниях.