Wie tief sollten die Bäume in Random Forest und Boosting sein?

Im Random Forest wird die Tiefe der Bäume in der Regel so gewählt, dass die Bäume die Daten gut trennen und komplexe Abhängigkeiten erfassen können. Oft werden die Bäume bis zur maximalen Tiefe gebaut (bis nur noch wenige Objekte in den Blättern verbleiben), was dazu beiträgt, den Bias zu verringern, und durch das Mittelwertbilden vieler Bäume wird die Varianz reduziert.

Beim Boosting (z.B. Gradient Boosting) sind die Bäume dagegen meist klein, mit einer Tiefe von 3-5 Ebenen. Das liegt daran, dass Boosting Bäume sequenziell aufbaut, um Fehler der vorherigen Bäume zu korrigieren. Kleine Bäume helfen, Überanpassung zu vermeiden, und machen das Modell stabiler.

Daher:

• Random Forest: tiefe Bäume (oft ohne Begrenzung der Tiefe).
• Boosting: flache Bäume (3-5 Ebenen).

Die Wahl der genauen Tiefe hängt von der Aufgabe, dem Datenvolumen und den Anforderungen an die Generalisierungsfähigkeit des Modells ab.