Quelle sera la qualité de chaque modèle si l'on supprime le premier arbre construit dans un gradient boosting et une forêt aléatoire de 1000 arbres?

Dans le cas de forêt aléatoire, chaque arbre est construit indépendamment, et la prédiction finale est une moyenne (régression) ou un vote (classification) de tous les arbres. Si le premier arbre est supprimé, la qualité du modèle diminue légèrement, mais pas de manière significative, car les autres 999 arbres continuent de fonctionner et compensent la perte.

Dans le cas du boosting par gradient, les arbres sont construits séquentiellement, chaque arbre étant entraîné sur les erreurs des précédents. Le premier arbre donne une approximation initiale. Si le premier arbre est supprimé, toute la séquence est rompue, et la qualité du modèle se dégrade fortement, car les arbres suivants ne pourront pas compenser correctement l'erreur sans l'approximation initiale.

Résultat:

• Forêt aléatoire : légère baisse de qualité, le modèle reste opérationnel.
• Boosting par gradient : dégradation importante de la qualité, le modèle perd son sens sans le premier arbre.