Ce este boosting-ul?

Boosting este o metodă de învățare în ansamblu care antrenează secvențial mai multe modele slabe (de obicei arbori de decizie), fiecare corectând erorile modelelor anterioare. În final, rezultă un model puternic cu o precizie ridicată. Ideea principală este să se acorde mai multă atenție, la fiecare pas, obiectelor pe care modelele anterioare le-au greșit.

Exemplu: AdaBoost, Gradient Boosting, XGBoost — implementări populare ale boosting-ului.

Exemplu în Python cu sklearn:

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

model = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1)
model.fit(X_train, y_train)
print(f"Acuratețe: {model.score(X_test, y_test):.2f}")