Pourquoi le bagging fonctionne-t-il avec des arbres, comme dans une forêt aléatoire?

Le bagging (Bootstrap Aggregating) fonctionne bien avec les arbres de décision parce que :

1. Haute variabilité des modèles : Les arbres de décision individuels ont tendance à surajuster et ont une haute variance. Le bagging réduit cette variance en moyennant les prédictions de plusieurs arbres entraînés sur différents sous-ensembles de données.

2. Indépendance des modèles : Étant donné que chaque arbre est entraîné sur un échantillon aléatoire avec remise (bootstrap), les modèles sont suffisamment différents, ce qui améliore l'effet de moyenne.

3. Pas besoin de modèles de base forts : Le bagging fonctionne mieux avec des modèles instables (comme les arbres), où de petits changements dans les données affectent fortement la structure du modèle.

4. Simplicité et efficacité : Les arbres sont faciles à entraîner et à combiner, ce qui rend le bagging pratique et efficace.

Dans la forêt aléatoire, une sélection aléatoire de caractéristiques est également appliquée lors de la division des nœuds, ce qui augmente encore la diversité des arbres et améliore la capacité de généralisation du modèle.