Šta je boosting?

Boosting је метода ансамблног учења која узастопно обучава више слабих модела (обично дрвећа одлуке), при чему сваки исправља грешке претходних. На крају добијамо јак модел са високим прецизношћу. Основна идеја је да се у сваком кораку посебна пажња посвети објектима на којима су претходни модели направили грешке.

Пример: AdaBoost, Gradient Boosting, XGBoost — популарне имплементације бустинга.

Пример у Python-у са sklearn:

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

model = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1)
model.fit(X_train, y_train)
print(f"Точност: {model.score(X_test, y_test):.2f}")