¿Qué son el sesgo y la varianza, y qué se reduce en un bosque aleatorio?

En aprendizaje automático:

• Sesgo (Bias) — es un error que surge debido a un modelo demasiado simple, que no puede aproximar bien la dependencia verdadera. Un sesgo alto conduce a un subajuste.
• Varianza — es la sensibilidad del modelo a cambios en los datos de entrenamiento. Una varianza alta significa que el modelo se ajusta demasiado al ruido en los datos, lo que lleva a un sobreajuste.

Un bosque aleatorio es un conjunto de árboles de decisión construidos a partir de subconjuntos aleatorios de datos y características. Reduce la varianza en comparación con un árbol individual, ya que el promediado de predicciones disminuye la influencia de fluctuaciones aleatorias en los datos, mientras que el sesgo se mantiene aproximadamente en el nivel de árboles individuales o aumenta ligeramente.

Ejemplo:

from sklearn.ensemble import RandomForestClassifier

# El bosque aleatorio reduce la varianza mediante el promediado
model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)