Quels modèles minimisent le biais et lesquels la variance, en comparant le boosting et le bagging?

Le bagging et le boosting sont des méthodes d'ensemble qui influencent différemment le biais (erreur systématique) et la variance (dispersion) du modèle.

• Bagging (par exemple, forêt aléatoire) réduit principalement la variance. Il construit plusieurs modèles sur différents sous-ensembles de données avec remplacement et en moyenne leurs prédictions, ce qui réduit le surapprentissage et la dispersion, mais n'affecte pas beaucoup le biais.

• Boosting (par exemple, AdaBoost, Gradient Boosting) vise à réduire le biais. Il entraîne séquentiellement des modèles, chacun corrigeant les erreurs des précédents, permettant de créer des modèles plus complexes et de réduire l'erreur systématique, mais cela peut augmenter la variance si on en fait trop.

En résumé :

Méthode	Minimise le biais	Minimise la variance
Bagging	Modérément	Oui
Boosting	Oui	Peut augmenter