Prečo funguje bagging s stromami, ako v náhodnom lese?

Bagging (Bootstrap Aggregating) dobre funguje s rozhodovacími stromami, pretože:

1. Vysoká variabilita modelov: Jednotlivé rozhodovacie stromy majú tendenciu k preučenia a majú vysokú rozptyl. Bagging znižuje tento rozptyl priemerovaním predpovedí viacerých stromov trénovaných na rôznych podmnožinách dát.

2. Nezávislosť modelov: Pretože každý strom je trénovaný na náhodnom vzorku s vrátením (bootstrap), modely sú dostatočne odlišné, čo zlepšuje efekt priemerovania.

3. Nie je potrebný silný základný model: Bagging lepšie funguje s nestabilnými modelmi (ako sú stromy), kde malé zmeny v dátach výrazne ovplyvňujú štruktúru modelu.

4. Jednoduchosť a efektívnosť: Stromy sú ľahko trénovateľné a kombinovateľné, čo robí bagging praktickým a efektívnym.

V náhodnom lese sa navyše aplikuje náhodný výber vlastností pri rozdeľovaní uzlov, čo ešte viac zvyšuje rozmanitosť stromov a zlepšuje schopnosť modelu generalizovať.