Wat gebeurt er als je een boom uit een random bos verwijdert?

Als je een boom uit het random forest-ensemble verwijdert, dan:

• Vermindering van de nauwkeurigheid van het model: De algehele kwaliteit van de voorspellingen kan lichtjes verslechteren, omdat het aantal stemmende bomen afneemt, wat de stabiliteit en de generaliseerbaarheid vermindert.
• Vermindering van de voorspellingsduur: Het model wordt sneller, omdat er minder bomen hoeven te worden doorlopen.
• De invloed hangt af van het belang van de boom: Als de verwijderde boom bijzonder informatief was (bijvoorbeeld getraind op een uniek deel van de gegevens), zal het verlies aan nauwkeurigheid meer opvallen.

Random forest is gebaseerd op het idee om de voorspellingen van veel bomen te middelen om overfitting te verminderen en de stabiliteit te verhogen. Het verwijderen van een boom vermindert de verzameling, wat kan leiden tot een toename van de variantie en een afname van de kwaliteit, maar in de meeste gevallen zal het verlies klein zijn, vooral als er veel bomen zijn.

Voorbeeld: als er 100 bomen in een random forest zijn, vermindert het verwijderen van één het aantal tot 99, wat praktisch geen invloed op het resultaat heeft, maar als een aanzienlijk deel van de bomen wordt verwijderd, wordt het model minder betrouwbaar.