Wat gebeurt er met de kwaliteit van elk model als het eerste gebouwde bos in een gradient boosting en een willekeurige bos met 1000 bomen wordt verwijderd?

In het geval van willekeurig bos wordt elke boom onafhankelijk gebouwd, en de uiteindelijke voorspelling is een gemiddelde (regressie) of stemming (classificatie) van alle bomen. Als de eerste boom wordt verwijderd, neemt de kwaliteit van het model licht af, maar niet significant, omdat de andere 999 bomen blijven werken en het verlies compenseren.

In het geval van gradient boosting worden de bomen sequentieel gebouwd, waarbij elke boom wordt getraind op de fouten van de vorige. De eerste boom geeft een initiële benadering. Als de eerste boom wordt verwijderd, wordt de hele sequentie verstoord, en de kwaliteit van het model zal sterk verslechteren, omdat de volgende bomen de fout niet correct kunnen compenseren zonder de initiële benadering.

Resultaat:

• Willekeurig bos: lichte afname van de kwaliteit, het model blijft functioneel.
• Gradient boosting: significante verslechtering van de kwaliteit, het model verliest zijn betekenis zonder de eerste boom.