Qu'est-ce que le boosting?

Le boosting est une méthode d'apprentissage en ensemble qui entraîne séquentiellement plusieurs modèles faibles (généralement des arbres de décision), chacun corrigeant les erreurs des précédents. Au final, cela donne un modèle puissant avec une grande précision. L'idée principale est d'accorder plus d'attention à chaque étape aux objets sur lesquels les modèles précédents se sont trompés.

Exemple : AdaBoost, Gradient Boosting, XGBoost — des implémentations populaires du boosting.

Exemple en Python avec sklearn :

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

model = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1)
model.fit(X_train, y_train)
print(f"Précision : {model.score(X_test, y_test):.2f}")