Wat is de diepte van de bomen die wordt gebruikt in Random Forest en boosting?

In Random Forest en boosting is de diepte van de bomen een belangrijke hyperparameter die de kwaliteit van het model en overfitting beïnvloedt.

• Random Forest: Er worden meestal relatief ondiepe bomen gebruikt, maar de diepte kan variëren. Vaak worden de bomen gebouwd tot een maximale diepte (zonder beperking) of met een beperking van 10-30 niveaus. Diepe bomen maken een betere scheiding van de gegevens mogelijk, maar kunnen leiden tot overfitting. Random Forest vermindert overfitting door het gemiddelde van veel bomen.

• Gradient boosting (bijvoorbeeld XGBoost, LightGBM): Hier worden meestal zeer ondiepe bomen gebruikt — vaak beperkt tot 3-8 niveaus. Dit komt doordat boosting bomen sequentieel bouwt, fouten corrigeert van eerdere bomen, en ondiepe bomen helpen overfitting te voorkomen en de generalisatiecapaciteit te verbeteren.

Dus, in Random Forest kan de diepte van de bomen groter zijn, terwijl die bij boosting meestal kleiner is, om een stabielere training en betere generalisatie te garanderen.