Τι είναι το boosting;

Το boosting είναι μια μέθοδος ensemble μάθησης που εκπαιδεύει διαδοχικά πολλά αδύναμα μοντέλα (συνήθως δέντρα αποφάσεων), καθένα από τα οποία διορθώνει τα λάθη των προηγούμενων. Στο τέλος, προκύπτει ένα ισχυρό μοντέλο με υψηλή ακρίβεια. Η βασική ιδέα είναι να δίνεται μεγαλύτερη προσοχή σε κάθε βήμα στα αντικείμενα στα οποία τα προηγούμενα μοντέλα έκαναν λάθος.

Παράδειγμα: AdaBoost, Gradient Boosting, XGBoost — δημοφιλείς υλοποιήσεις boosting.

Παράδειγμα σε Python με sklearn:

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

model = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1)
model.fit(X_train, y_train)
print(f"Ακρίβεια: {model.score(X_test, y_test):.2f}")