Mi történik minden modell minőségével, ha eltávolítjuk az első felépített fát egy gradient boosting és egy 1000 fából álló véletlenszerű erdő esetén?

Véletlen erdő esetén minden fa függetlenül épül fel, és a végső előrejelzés az összes fa átlagolása (regresszió) vagy szavazás (osztályozás). Ha eltávolítjuk az első fát, a modell minősége kissé romlik, de nem jelentősen, mivel a többi 999 fa továbbra is működik és kompenzálja a veszteséget.

Gradiens boosting esetén a fák egymás után épülnek, mindegyik a korábbi hibákon tanulva. Az első fa egy kezdeti közelítést ad. Ha eltávolítjuk az első fát, az egész sorozat megszakad, és a modell minősége jelentősen romlik, mivel a következő fák nem tudják helyesen kompenzálni a hibát a kezdeti közelítés nélkül.

Eredmény:

• Véletlen erdő: kis minőségcsökkenés, a modell továbbra is működőképes.
• Gradiens boosting: jelentős minőségromlás, a modell értelmét veszti az első fa nélkül.