Чем бустинг отличается от бэггинга?

Бэггинг (bagging) и бустинг (boosting) — это методы ансамблирования, которые объединяют несколько моделей для улучшения качества предсказаний, но работают по-разному:

• Бэггинг (Bootstrap Aggregating):

  • Создаёт несколько независимых моделей на разных случайных подвыборках исходных данных (с повторениями).
  • Каждая модель обучается параллельно.
  • Итоговое предсказание — усреднение (для регрессии) или голосование (для классификации).
  • Помогает уменьшить дисперсию и переобучение.

• Бустинг:

  • Модели обучаются последовательно, каждая новая модель пытается исправить ошибки предыдущих.
  • Веса объектов могут изменяться, чтобы уделять больше внимания сложным для классификации примерам.
  • Итоговое предсказание — взвешенная сумма предсказаний всех моделей.
  • Помогает уменьшить смещение и улучшить качество.

Пример: Random Forest — это бэггинг над деревьями, а AdaBoost — классический пример бустинга.

from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier

# Бэггинг
rf = RandomForestClassifier(n_estimators=100)

# Бустинг
ada = AdaBoostClassifier(n_estimators=100)