Какие основные ловушки при бенчмарках tabular DL vs GBDT?

При сравнении табличных моделей глубокого обучения (DL) и градиентного бустинга деревьев решений (GBDT) важно учитывать несколько ключевых ловушек:

• Неправильная подготовка данных: GBDT часто хорошо работает с сырыми данными, включая категориальные признаки, тогда как DL требует тщательной нормализации и кодирования.
• Выбор метрик и кросс-валидации: Использование неподходящих метрик или неправильное разделение данных может привести к неверным выводам о производительности.
• Гиперпараметры и настройка: GBDT и DL имеют разные наборы гиперпараметров, и сравнение без тщательной настройки может быть некорректным.
• Объем данных: DL обычно требует больших объемов данных для эффективного обучения, в то время как GBDT может работать лучше на небольших выборках.
• Случайность и повторяемость: Результаты DL могут сильно варьироваться из-за инициализации и стохастичности, что нужно учитывать при сравнении.

Пример: при сравнении моделей на одном и том же наборе данных важно использовать одинаковые разбиения, одинаковые метрики (например, AUC для классификации) и тщательно подбирать гиперпараметры для обеих моделей.