Почему деревья сильнее переобучаются по сравнению с линейными моделями?

Деревья (например, решающие деревья) склонны к переобучению сильнее, чем линейные модели, из-за их высокой гибкости и способности точно подстраиваться под обучающие данные.

Причины:

• Высокая выразительная способность: дерево может создавать сложные разбиения пространства признаков, что позволяет идеально подстроиться под шум и выбросы.
• Отсутствие регуляризации по умолчанию: без ограничений глубины или минимального числа объектов в листе дерево может вырасти очень глубоким, запоминая детали обучающей выборки.
• Локальные решения: дерево строит правила, которые работают хорошо на обучающих данных, но могут плохо обобщаться на новые.

В отличие от линейных моделей, которые ограничены линейной зависимостью и обычно имеют меньше параметров, деревья могут моделировать сложные нелинейные зависимости, что повышает риск переобучения.

Для борьбы с этим применяют методы регуляризации (ограничение глубины, минимальное число объектов в листе), а также ансамбли (Random Forest, Gradient Boosting), которые уменьшают переобучение за счёт усреднения.