Pourquoi ne peut-on pas simplement apprendre aux sorties du boosting par gradient?

Dans le boosting par gradient, l'apprentissage se fait sur les résidus (gradients de l'erreur), et non sur les sorties mêmes des modèles précédents. Si l'on essaie d'entraîner le prochain algorithme de base simplement sur les sorties précédentes, le modèle ne minimisera pas correctement l'erreur, car il ne prend pas en compte la direction et la magnitude de l'erreur, seulement la prédiction finale.

L'apprentissage basé sur les gradients permet de corriger séquentiellement les erreurs des modèles précédents, ce qui assure la convergence et l'amélioration de la qualité. Si l'on s'entraîne simplement sur les sorties, le modèle peut surajuster ou ne pas atteindre l'optimum, car il ne considère pas à quel point et dans quelle direction il faut ajuster les prédictions.

Exemple : dans le boosting par gradient classique, le régresseur suivant s'entraîne sur la différence entre les valeurs vraies et les prédictions actuelles (résidus), et non sur les prédictions elles-mêmes.