Какие ансамбли деревьев существуют?

Ансамбли деревьев — это методы машинного обучения, которые объединяют несколько деревьев решений для повышения точности и устойчивости модели. Основные типы ансамблей деревьев:

• Random Forest (Случайный лес): строит множество независимых деревьев на случайных подвыборках данных и признаков, затем усредняет результаты (для регрессии) или выбирает наиболее частый класс (для классификации).

• Gradient Boosting Machines (GBM): строит деревья последовательно, каждое новое дерево пытается исправить ошибки предыдущих, минимизируя функцию потерь градиентным спуском.

• XGBoost, LightGBM, CatBoost: улучшенные реализации градиентного бустинга с оптимизациями по скорости, обработке категориальных признаков и борьбе с переобучением.

• Extra Trees (Extremely Randomized Trees): похож на Random Forest, но при построении разбиений выбирает случайные пороги, что увеличивает разнообразие деревьев.

Пример использования Random Forest на Python с sklearn:

from sklearn.ensemble import RandomForestClassifier

model = RandomForestClassifier(n_estimators=100, max_depth=5)
model.fit(X_train, y_train)
predictions = model.predict(X_test)