Čo je boosting?

Boosting je metoda ansamblskog učenja koja sekvencijalno trenira više slabih modela (obično odlučujućih stabala), pri čemu svaki model ispravlja greške prethodnih. Na kraju, dobijamo snažan model visokog preciznosti. Glavna ideja je da se u svakom koraku posveti više pažnje objektima na kojima su prethodni modeli pogrešili.

Primer: AdaBoost, Gradient Boosting, XGBoost — popularne implementacije boostinga.

Primer u Python-u sa sklearn:

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

model = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1)
model.fit(X_train, y_train)
print(f"Tačnost: {model.score(X_test, y_test):.2f}")