Защо работи bagging с дървета, като в случаен гора?

Bagging (Bootstrap Aggregating) работи добре с дървета за вземане на решения, защото:

1. Висока вариабилност на моделите: Отделните дървета за вземане на решения са склонни към пренасищане и имат висока дисперсия. Bagging намалява тази дисперсия чрез усредняване на предсказанията на множество дървета, обучени върху различни подмножества от данни.

2. Независимост на моделите: Тъй като всяко дърво се обучава върху случайна извадка с връщане (bootstrap), моделите са достатъчно различни, което подобрява ефекта на усредняване.

3. Няма нужда от силни базови модели: Bagging работи по-добре с нестабилни модели (като дървета), където малки промени в данните силно влияят на структурата на модела.

4. Простота и ефективност: Дърветата са лесни за обучение и комбиниране, което прави bagging практичен и ефективен.

В случаен лес допълнително се прилага случайна селекция на признаци при разделянето на възлите, което още повече увеличава разнообразието на дърветата и подобрява обобщаващата способност на модела.