Was ist Ordered Boosting in CatBoost?

Ordered boosting в CatBoost — это метод построения градиентного бустинга, который решает проблему утечки информации (target leakage) при работе с категориальными признаками и временными рядами.

В классическом градиентном бустинге при вычислении градиентов для текущего объекта могут использоваться данные из будущего, что приводит к переобучению. Ordered boosting устраняет это, обучая модель последовательно, используя только информацию, доступную до текущего объекта.

Пример: при обучении на последовательности объектов CatBoost формирует специальные порядковые статистики, которые рассчитываются без использования будущих значений таргета, что повышает качество и обобщающую способность модели.