Что такое градиентный бустинг?

Градиентный бустинг — это метод ансамблевого обучения, который строит модель последовательно, добавляя новые слабые модели (обычно деревья решений), исправляющие ошибки предыдущих. Идея в том, чтобы минимизировать функцию потерь, обучая каждую следующую модель на градиенте ошибки предыдущей. Это позволяет эффективно улучшать качество предсказаний, комбинируя множество простых моделей в сильный прогнозирующий ансамбль.

Пример на Python с использованием библиотеки scikit-learn:

from sklearn.ensemble import GradientBoostingClassifier

X_train, y_train = ...  # данные для обучения
model = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1)
model.fit(X_train, y_train)

Градиентный бустинг широко применяется в задачах классификации и регрессии благодаря своей высокой точности и гибкости.