Qu'est-ce qui agit comme une balance dans le boosting par gradient?

Dans le boosting par gradient, les poids sont représentés par les gradients, qui sont les dérivées de la fonction de perte par rapport aux prédictions du modèle à l'étape actuelle. Ces gradients indiquent à quel point il faut ajuster les prédictions pour réduire l'erreur.

À chaque étape, un nouveau modèle (généralement un arbre) est construit, qui apprend à prédire les gradients négatifs (erreurs) du modèle précédent. Ainsi, les poids sont les erreurs à corriger, et ils orientent l'apprentissage du modèle suivant pour améliorer le résultat final.

Exemple : si la fonction de perte est MSE, les gradients seront la différence entre les valeurs prédites et réelles, et le nouveau modèle tentera de prédire cette différence.