Что такое bagging и почему он уменьшает variance модели?

Bagging (Bootstrap Aggregating) — это метод ансамблирования моделей, при котором создаётся множество обучающих выборок с помощью бутстрэп-выборки (случайная выборка с возвращением из исходных данных). Для каждой такой выборки обучается отдельная модель, а итоговый прогноз получается усреднением (для регрессии) или голосованием (для классификации) результатов всех моделей.

Почему bagging уменьшает variance:

• Каждая модель обучается на немного разных данных, поэтому ошибки моделей не полностью коррелированы.
• Усреднение результатов снижает влияние случайных ошибок отдельных моделей.
• В итоге ансамбль становится более устойчивым к переобучению и шуму в данных.

Таким образом, bagging уменьшает разброс (variance) модели, повышая её стабильность и обобщающую способность.