Wat is boosting?

Boosting is een ensemble-leermethode waarbij meerdere zwakke modellen (meestal beslissingsbomen) sequentieel worden getraind, waarbij elk model de fouten van de vorige corrigeert. Uiteindelijk ontstaat een krachtig model met hoge nauwkeurigheid. Het belangrijkste idee is om bij elke stap meer aandacht te besteden aan de objecten waarop de vorige modellen fouten maakten.

Voorbeeld: AdaBoost, Gradient Boosting, XGBoost — populaire implementaties van boosting.

Voorbeeld in Python met sklearn:

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

model = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1)
model.fit(X_train, y_train)
print(f"Nauwkeurigheid: {model.score(X_test, y_test):.2f}")