¿Qué profundidad de árboles se utiliza en Random Forest y en boosting?

En Random Forest y en el boosting, la profundidad de los árboles es un hiperparámetro importante que afecta la calidad del modelo y el sobreajuste.

• Random Forest: Generalmente se utilizan árboles relativamente poco profundos, pero la profundidad puede variar. A menudo, los árboles se construyen hasta una profundidad máxima (sin restricciones) o con una restricción en el rango de 10-30 niveles. Los árboles profundos permiten una mejor separación de los datos, pero pueden llevar a sobreajuste. Random Forest reduce el sobreajuste mediante el promediado de muchos árboles.

• Gradiente boosting (por ejemplo, XGBoost, LightGBM): Aquí generalmente se emplean árboles muy poco profundos, a menudo con una profundidad limitada a 3-8 niveles. Esto se debe a que el boosting construye árboles de manera secuencial, corrigiendo los errores de los anteriores, y los árboles poco profundos ayudan a evitar el sobreajuste y mejorar la capacidad de generalización.

Por lo tanto, en Random Forest la profundidad de los árboles puede ser mayor, mientras que en el boosting suele ser menor, para garantizar un entrenamiento más estable y una mejor generalización.