¿Cuál debería ser la profundidad de los árboles en Random Forest y en boosting?

En Random Forest, la profundidad de los árboles generalmente se elige lo suficientemente grande como para que los árboles puedan separar bien los datos y capturar dependencias complejas. A menudo, los árboles se construyen hasta la máxima profundidad (hasta que queden pocos objetos en la hoja), lo que ayuda a reducir el sesgo, y mediante el promediado de múltiples árboles, se reduce la varianza.

En el boosting (por ejemplo, Gradient Boosting), por el contrario, los árboles suelen ser pequeños, con una profundidad de 3-5 niveles. Esto se debe a que el boosting construye árboles de manera secuencial, corrigiendo los errores de los anteriores. Los árboles pequeños ayudan a evitar el sobreajuste y hacen que el modelo sea más estable.

Por lo tanto:

• Random Forest: árboles profundos (a menudo sin límite de profundidad).
• Boosting: árboles poco profundos (3-5 niveles).

La elección de la profundidad exacta depende de la tarea, el volumen de datos y los requisitos de capacidad de generalización del modelo.