Архитектурные отличия XGBoost, LightGBM и CatBoost: как деревья строятся?

XGBoost, LightGBM и CatBoost — популярные градиентные бустинговые библиотеки, но они отличаются подходами к построению деревьев:

• XGBoost строит деревья по уровню (level-wise). Это значит, что на каждом шаге он расширяет все узлы текущего уровня, что обеспечивает более сбалансированные деревья, но требует больше памяти и времени.

• LightGBM использует построение деревьев по листьям (leaf-wise) с ограничением по глубине. Он выбирает лист с максимальным приростом качества и расширяет именно его. Такой подход часто даёт более глубокие и точные деревья, но может привести к переобучению.

• CatBoost также строит деревья leaf-wise, но дополнительно применяет специальные техники для борьбы с переобучением и учитывает категориальные признаки без необходимости их явного кодирования. CatBoost использует порядковое обучение и специальные схемы для обработки категорий.

Таким образом, основное отличие в стратегии роста деревьев: XGBoost — по уровням, LightGBM и CatBoost — по листьям, с разными дополнительными оптимизациями.