Qu'est-ce que le boosting par gradient ? Où apparaît le gradient ?

Le boosting par gradient est une méthode d'apprentissage en ensemble qui construit un modèle de manière séquentielle, en ajoutant de nouveaux modèles faibles (généralement des arbres de décision) pour corriger les erreurs des modèles précédents.

Le gradient apparaît lorsque chaque nouveau modèle est entraîné sur le gradient de la fonction de perte par rapport aux prédictions du modèle d'ensemble actuel. En termes simples, nous minimisons l'erreur en utilisant la descente de gradient dans l'espace des fonctions.

À chaque étape, le gradient de l'erreur (direction et magnitude dans lesquelles il faut améliorer les prédictions) est calculé, et le nouveau modèle est entraîné pour prédire ce gradient, ajustant ainsi la prédiction finale.

Cela permet de réduire efficacement l'erreur et d'améliorer la qualité du modèle par un apprentissage séquentiel basé sur les erreurs des modèles précédents.