Qu'est-ce que le gradient boosting basé sur l'histogramme?

Le gradient boosting basé sur des histogrammes est une optimisation des algorithmes de boosting par gradient, où les caractéristiques continues sont préalablement discrétisées en bins (paniers), et l'apprentissage se fait sur ces représentations histogrammes.

Les principaux avantages :

• Accélération significative du calcul des gradients et de la recherche de divisions optimales, car les opérations sont effectuées sur un nombre limité de bins, et non sur toutes les valeurs uniques des caractéristiques.
• Réduction de la consommation de mémoire.

Un exemple d'utilisation : des bibliothèques populaires comme LightGBM utilisent le boosting basé sur des histogrammes pour un apprentissage efficace sur de grands ensembles de données tabulaires.

L'idée est de remplacer la recherche de seuils optimaux pour la division par une recherche exhaustive dans les bins discrets, ce qui simplifie et accélère la construction des arbres.