Czym jest bagging?

Bagging (Bootstrap Aggregating) to metoda zespołowa w uczeniu maszynowym, która zwiększa stabilność i dokładność modeli. Głównym pomysłem jest wytrenowanie kilku modeli na różnych losowych podzbiorach danych źródłowych z powrotem (bootstrap), a następnie uśrednienie ich prognoz (dla regresji) lub wybranie najczęstszej klasy (dla klasyfikacji).

Zalety bagging:

• Zmniejsza nadmierne dopasowanie (overfitting) poprzez zmniejszenie wariancji modelu.
• Zwiększa odporność na szumy w danych.

Przykład: losowy las to zespół drzew decyzyjnych zbudowanych za pomocą bagging.

from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier

# Model bazowy
base_clf = DecisionTreeClassifier()

# Bagging z 10 modelami
bagging_clf = BaggingClassifier(base_estimator=base_clf, n_estimators=10, random_state=42)
bagging_clf.fit(X_train, y_train)