Kas ir boosting?

Boosting ir ansamblmācīšanās metode, kas secīgi apmāca vairākus vājus modeļus (parasti lēmumu kokus), katrs labojot iepriekšējo kļūdas. Galu galā tiek iegūts spēcīgs modelis ar augstu precizitāti. Galvenā ideja ir pievērst lielāku uzmanību objektiem, kuros iepriekšējie modeļi pieļāvuši kļūdas.

Piemērs: AdaBoost, Gradient Boosting, XGBoost — populāras boosting realizācijas.

Python piemērs ar sklearn:

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

modelis = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1)
modelis.fit(X_train, y_train)
print(f"Precizitāte: {modelis.score(X_test, y_test):.2f}")