¿Por qué el bagging funciona con árboles, como en un bosque aleatorio?

El bagging (Bootstrap Aggregating) funciona bien con árboles de decisión porque:

1. Alta variabilidad de los modelos: Los árboles de decisión individuales tienden a sobreajustar y tienen alta dispersión. El bagging reduce esta dispersión promediando las predicciones de múltiples árboles entrenados en diferentes subconjuntos de datos.

2. Independencia de los modelos: Dado que cada árbol se entrena en una muestra aleatoria con reemplazo (bootstrap), los modelos son lo suficientemente diferentes, lo que mejora el efecto de promediado.

3. No se requiere modelos base fuertes: El bagging funciona mejor con modelos inestables (como los árboles), donde pequeños cambios en los datos afectan mucho la estructura del modelo.

4. Simplicidad y eficiencia: Los árboles son fáciles de entrenar y combinar, lo que hace que el bagging sea práctico y eficiente.

En el bosque aleatorio, además, se aplica una selección aleatoria de características al dividir los nodos, lo que aumenta aún más la diversidad de los árboles y mejora la capacidad de generalización del modelo.