Quelle devrait être la profondeur des arbres dans Random Forest et en boosting?

Dans Random Forest, la profondeur des arbres est généralement choisie suffisamment grande pour que les arbres puissent bien séparer les données et capturer des dépendances complexes. Souvent, les arbres sont construits jusqu’à leur profondeur maximale (jusqu’à ce qu’il reste peu d’objets dans la feuille), ce qui permet de réduire le biais, et en moyennant plusieurs arbres, la variance est réduite.

Dans le boosting (par exemple, Gradient Boosting), en revanche, les arbres sont généralement petits, avec une profondeur de 3 à 5 niveaux. Cela est dû au fait que le boosting construit les arbres de manière séquentielle, en corrigeant les erreurs des précédents. Les petits arbres aident à éviter le surapprentissage et rendent le modèle plus stable.

Ainsi :

• Random Forest : arbres profonds (souvent sans limite de profondeur).
• Boosting : arbres peu profonds (3-5 niveaux).

Le choix de la profondeur exacte dépend de la tâche, du volume de données et des exigences en matière de capacité de généralisation du modèle.