Mis on boosting?

Boosting on ansamblīšu mācīšanās metode, kas secīgi apmāca vairākus vājus modeļus (parasti lēmumu kokus), katrs labojot iepriekšējo kļūdas. Rezultātā iegūst spēcīgu modeli ar augstu precizitāti. Galvenā ideja ir pievērst lielāku uzmanību objektiem, kuros iepriekšējie modeļi pieļāvuši kļūdas.

Piemērs: AdaBoost, Gradient Boosting, XGBoost — populāras boosting realizācijas.

Python piemērs ar sklearn:

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

modelis = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1)
modelis.fit(X_train, y_train)
print(f"Precizitāte: {modelis.score(X_test, y_test):.2f}")