Почему bagging работает с деревьями, как в случайном лесе?

Bagging (Bootstrap Aggregating) хорошо работает с деревьями решений, потому что:

1. Высокая вариативность моделей: Отдельные деревья решений склонны к переобучению и имеют высокую дисперсию. Bagging уменьшает эту дисперсию за счёт усреднения предсказаний множества деревьев, обученных на разных подвыборках данных.

2. Независимость моделей: Поскольку каждое дерево обучается на случайной выборке с возвращением (bootstrap), модели получаются достаточно разными, что улучшает эффект усреднения.

3. Отсутствие необходимости в сильных базовых моделях: Bagging работает лучше с нестабильными моделями (как деревья), где небольшие изменения в данных сильно влияют на структуру модели.

4. Простота и эффективность: Деревья легко обучать и комбинировать, что делает bagging практичным и эффективным.

В случайном лесе дополнительно применяется случайный выбор признаков при разбиении узлов, что ещё больше увеличивает разнообразие деревьев и улучшает обобщающую способность модели.