Qu'est-ce que le biais et la variance, et qu'est-ce qui diminue dans une forêt aléatoire?

En apprentissage automatique :

• Biais (Bias) — c'est une erreur due à un modèle trop simple, incapable d'approximer correctement la dépendance réelle. Un biais élevé conduit à un sous-apprentissage.
• Variance — c'est la sensibilité du modèle aux changements dans les données d'entraînement. Une variance élevée signifie que le modèle s'ajuste trop au bruit dans les données, ce qui conduit à un surapprentissage.

Une forêt aléatoire est un ensemble d'arbres de décision construits à partir d'échantillons aléatoires de données et de caractéristiques. Elle réduit la variance par rapport à un arbre unique, car la moyenne des prédictions diminue l'influence des fluctuations aléatoires dans les données, tandis que le biais reste approximativement au niveau des arbres individuels ou augmente légèrement.

Exemple :

from sklearn.ensemble import RandomForestClassifier

# La forêt aléatoire réduit la variance par la moyenne
model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)