Kas yra boosting?

Boosting yra ansamblinio mokymosi metodas, kuris nuosekliai moko keletą silpnų modelių (paprastai sprendimų medžių), kiekvienas iš jų pataiso ankstesnių klaidas. Galiausiai gaunamas stiprus modelis su aukštu tikslumu. Pagrindinė idėja — kiekviename žingsnyje skirti daugiau dėmesio objektams, kuriuose ankstesni modeliai padarė klaidų.

Pavyzdys: AdaBoost, Gradient Boosting, XGBoost — populiarios boosting realizacijos.

Python pavyzdys naudojant sklearn:

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

modelis = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1)
modelis.fit(X_train, y_train)
print(f"Tikslumas: {modelis.score(X_test, y_test):.2f}")