Что такое градиентный бустинг? Где там появляется градиент?

Градиентный бустинг — это метод ансамблевого обучения, который строит модель последовательно, добавляя новые слабые модели (обычно деревья решений), чтобы исправить ошибки предыдущих.

Градиент появляется в том, что каждая новая модель обучается на градиенте функции потерь по предсказаниям текущей ансамблевой модели. Проще говоря, мы минимизируем ошибку, используя градиентный спуск в пространстве функций.

На каждом шаге вычисляется градиент ошибки (направление и величина, в котором нужно улучшить предсказания), и новая модель обучается предсказывать этот градиент, тем самым корректируя итоговое предсказание.

Это позволяет эффективно уменьшать ошибку и улучшать качество модели за счет последовательного обучения на ошибках предыдущих моделей.