Was ist Boosting?

Boosting ist eine Ensemble-Lernmethode, die nacheinander mehrere schwache Modelle (meist Entscheidungsbäume) trainiert, wobei jedes Modell die Fehler der vorherigen korrigiert. Am Ende entsteht ein starkes Modell mit hoher Genauigkeit. Die Grundidee ist, bei jedem Schritt mehr Aufmerksamkeit auf die Objekte zu richten, bei denen die vorherigen Modelle Fehler gemacht haben.

Beispiel: AdaBoost, Gradient Boosting, XGBoost — beliebte Implementierungen des Boostings.

Beispiel in Python mit sklearn:

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

model = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1)
model.fit(X_train, y_train)
print(f"Genauigkeit: {model.score(X_test, y_test):.2f}")