Что такое bagging?

Bagging (Bootstrap Aggregating) — это метод ансамблирования в машинном обучении, который повышает стабильность и точность моделей. Основная идея — обучить несколько моделей на разных случайных подвыборках исходных данных с возвращением (bootstrap), а затем усреднить их предсказания (для регрессии) или выбрать наиболее частый класс (для классификации).

Преимущества bagging:

• Снижает переобучение (overfitting) за счёт уменьшения дисперсии модели.
• Повышает устойчивость к шуму в данных.

Пример: случайный лес — это ансамбль решающих деревьев, построенных с помощью bagging.

from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier

# Базовая модель
base_clf = DecisionTreeClassifier()

# Bagging с 10 моделями
bagging_clf = BaggingClassifier(base_estimator=base_clf, n_estimators=10, random_state=42)
bagging_clf.fit(X_train, y_train)