Бустинг деген эмне?

Бустинг — бул ансамблдик үйрөнүү ыкмасы, ал биринин артынан бир нече алсыз моделдер (адатта чечим дарактары) үйрөтөт, ар бири мурунку моделдердин катачылыктарын оңдойт. Аягында, жогорку тактыкка ээ күчтүү модель пайда болот. Негизги идея — ар бир кадамда мурунку моделдер катачылык кылган объекттерге көбүрөөк көңүл буруу.

Мисалдар: AdaBoost, Gradient Boosting, XGBoost — популярдуу бустинг ишке ашыруулары.

Pythonда sklearn колдонуп мисал:

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

модель = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1)
модель.fit(X_train, y_train)
print(f"Далилдөө: {модель.score(X_test, y_test):.2f}")