Cos'è il boosting?

Il boosting è un metodo di apprendimento ensemble che addestra sequenzialmente più modelli deboli (solitamente alberi decisionali), ognuno dei quali corregge gli errori dei precedenti. Alla fine si ottiene un modello forte con alta precisione. L'idea principale è di prestare più attenzione, ad ogni passo, agli oggetti sui quali i modelli precedenti hanno sbagliato.

Esempio: AdaBoost, Gradient Boosting, XGBoost — implementazioni popolari del boosting.

Esempio in Python con sklearn:

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

model = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1)
model.fit(X_train, y_train)
print(f"Precisione: {model.score(X_test, y_test):.2f}")