De ce funcționează bagging cu copaci, ca în pădurea aleatorie?

Bagging (Bootstrap Aggregating) funcționează bine cu arbori de decizie deoarece:

1. Variabilitate ridicată a modelelor: Arborii de decizie individuali tind să supraevalueze și au o dispersie ridicată. Bagging reduce această dispersie prin medierea predicțiilor multor arbori antrenați pe subeșantioane diferite de date.

2. Independența modelelor: Deoarece fiecare copac este antrenat pe o mostră aleatorie cu înlocuire (bootstrap), modelele sunt suficient de diferite, ceea ce îmbunătățește efectul de mediere.

3. Nu este nevoie de modele de bază puternice: Bagging funcționează mai bine cu modele instabile (cum ar fi arborii), unde mici modificări în date afectează puternic structura modelului.

4. Simplitate și eficiență: Arborii sunt ușor de antrenat și combinat, ceea ce face ca bagging-ul să fie practic și eficient.

În pădurea aleatorie, se aplică, de asemenea, o selecție aleatorie a caracteristicilor la împărțirea nodurilor, ceea ce crește și mai mult diversitatea arborilor și îmbunătățește capacitatea de generalizare a modelului.