Welche Tiefe haben die Bäume in Random Forest und Boosting?

In Random Forest und Boosting ist die Tiefe der Bäume ein wichtiger Hyperparameter, der die Modellqualität und das Überanpassen beeinflusst.

• Random Forest: Es werden in der Regel relativ flache Bäume verwendet, aber die Tiefe kann variieren. Oft werden die Bäume bis zu einer maximalen Tiefe (ohne Begrenzung) oder mit einer Begrenzung von 10-30 Ebenen gebaut. Tiefe Bäume ermöglichen eine bessere Trennung der Daten, können aber zu Überanpassung führen. Random Forest reduziert Überanpassung durch die Durchschnittsbildung vieler Bäume.

• Gradient Boosting (z.B. XGBoost, LightGBM): Hier werden in der Regel sehr flache Bäume verwendet — oft mit einer Begrenzung auf 3-8 Ebenen. Das liegt daran, dass Boosting sequenziell Bäume baut, die Fehler der vorherigen korrigieren, und flache Bäume helfen, Überanpassung zu vermeiden und die Generalisierungsfähigkeit zu verbessern.

Daher kann in Random Forest die Tiefe der Bäume größer sein, während sie beim Boosting in der Regel kleiner ist, um ein stabileres Training und eine bessere Generalisierung zu gewährleisten.