Waarom werkt bagging met bomen, zoals in een willekeurig bos?

Bagging (Bootstrap Aggregating) werkt goed met beslissingsbomen omdat:

1. Hoge variabiliteit van modellen: Individuele beslissingsbomen zijn geneigd tot overfitting en hebben een hoge variantie. Bagging vermindert deze variantie door de voorspellingen van meerdere bomen te middelen die op verschillende datapunten zijn getraind.

2. Onafhankelijkheid van de modellen: Omdat elke boom wordt getraind op een willekeurige steekproef met teruglegging (bootstrap), zijn de modellen voldoende verschillend, wat het gemiddeldeffect verbetert.

3. Geen behoefte aan sterke basismodellen: Bagging werkt beter met instabiele modellen (zoals bomen), waarbij kleine veranderingen in de data de structuur van het model sterk beïnvloeden.

4. Eenvoud en efficiëntie: Bomen zijn gemakkelijk te trainen en te combineren, waardoor bagging praktisch en efficiënt is.

In het geval van een willekeurige bos wordt ook een willekeurige selectie van kenmerken toegepast bij het splitsen van knooppunten, wat de diversiteit van de bomen verder vergroot en de generalisatiecapaciteit van het model verbetert.