Hoe diep moeten de bomen zijn in Random Forest en boosting?

In Random Forest wordt de diepte van de bomen meestal gekozen zodat de bomen de gegevens goed kunnen scheiden en complexe afhankelijkheden kunnen vastleggen. Vaak worden de bomen tot de maximale diepte gebouwd (totdat er weinig objecten in de bladeren overblijven), wat helpt om de bias te verminderen, en door het gemiddelde van veel bomen wordt de variantie verminderd.

In boosting (bijvoorbeeld Gradient Boosting) zijn de bomen daarentegen meestal klein, met een diepte van 3-5 niveaus. Dit komt doordat boosting bomen sequentieel bouwt, waarbij fouten van eerdere bomen worden gecorrigeerd. Kleine bomen helpen overfitting te voorkomen en maken het model stabieler.

Dus:

• Random Forest: diepe bomen (vaak zonder beperking van de diepte).
• Boosting: ondiepe bomen (3-5 niveaus).

De keuze van de exacte diepte hangt af van de taak, de hoeveelheid data en de vereisten voor de generalisatiecapaciteit van het model.