Что такое режим DART в бустинге?

Режим DART (Dropouts meet Multiple Additive Regression Trees) — это метод бустинга, который улучшает классический градиентный бустинг, добавляя механизм случайного исключения (dropout) отдельных деревьев на каждом шаге обучения. Идея в том, чтобы предотвратить переобучение и повысить обобщающую способность модели за счет случайного «выключения» части ансамбля при обновлении.

В классическом градиентном бустинге каждое новое дерево добавляется к ансамблю, корректируя ошибки предыдущих. В DART на каждом шаге случайно исключается часть уже построенных деревьев, и новое дерево обучается на основе оставшихся, что снижает корреляцию между деревьями и улучшает устойчивость модели.

Пример использования DART в XGBoost (Python):

import xgboost as xgb

params = {
    'booster': 'dart',
    'objective': 'binary:logistic',
    'rate_drop': 0.1,  # вероятность исключения дерева
    'skip_drop': 0.5   # вероятность пропуска исключения
}
dtrain = xgb.DMatrix(X_train, label=y_train)
model = xgb.train(params, dtrain, num_boost_round=100)

Таким образом, DART помогает сделать модель более устойчивой к переобучению за счет случайного исключения деревьев в процессе обучения.