Как будем подбирать параметры в градиентном бустинге? Какие параметры есть и что будешь подбирать в первую очередь?

В градиентном бустинге основные параметры для настройки:

• learning_rate (скорость обучения) — влияет на размер шага при обновлении модели. Обычно подбирается в первую очередь, так как слишком большой может привести к переобучению, а слишком маленький — к долгому обучению.
• n_estimators (число деревьев) — количество базовых моделей. При маленьком learning_rate обычно увеличивают n_estimators.
• max_depth (максимальная глубина дерева) — контролирует сложность каждого дерева, влияет на переобучение.
• min_child_weight — минимальное количество выборок в листе, помогает бороться с переобучением.
• subsample и colsample_bytree — доля выборки и признаков для построения каждого дерева, влияют на разнообразие моделей и обобщающую способность.

В первую очередь обычно подбирают learning_rate и n_estimators, затем max_depth и другие параметры для борьбы с переобучением и улучшения качества.