Qu'est-ce que le bagging et pourquoi réduit-il la variance du modèle?

Le bagging (Bootstrap Aggregating) est une méthode d’assemblage de modèles où plusieurs échantillons d’entraînement sont créés à l’aide du bootstrap (échantillonnage aléatoire avec remise des données d’origine). Pour chaque échantillon, un modèle distinct est entraîné, et la prédiction finale est obtenue en moyennant (pour la régression) ou en votant (pour la classification) les résultats de tous les modèles.

Pourquoi le bagging réduit la variance :

• Chaque modèle est entraîné sur des données légèrement différentes, donc les erreurs des modèles ne sont pas entièrement corrélées.
• La moyenne des résultats réduit l’impact des erreurs aléatoires de modèles individuels.
• En fin de compte, l’ensemble devient plus robuste face au surapprentissage et au bruit dans les données.

Ainsi, le bagging réduit la variance du modèle, augmentant sa stabilité et sa capacité de généralisation.