Qu'est-ce que EFB et GOSS dans LightGBM?

Dans LightGBM, EFB (Exclusive Feature Bundling) et GOSS (Gradient-based One-Side Sampling) sont deux techniques d’optimisation qui améliorent la performance et la vitesse d’apprentissage du modèle.

• EFB (Regroupement Exclusif de Caractéristiques) : méthode qui combine des caractéristiques mutuellement exclusives en une seule, afin de réduire la dimensionnalité des données et d’accélérer l’apprentissage. Par exemple, si deux caractéristiques ne prennent jamais de valeurs non nulles en même temps, elles peuvent être fusionnées en une seule, en conservant l’information mais en réduisant le nombre de caractéristiques.

• GOSS (Échantillonnage Unilatéral Basé sur le Gradient) : technique de sélection d’un sous-ensemble de données pour l’apprentissage, où tous les exemples avec de grands gradients (c’est-à-dire ceux où le modèle se trompe davantage) sont conservés, et un échantillon aléatoire d’exemples avec de faibles gradients est pris. Cela permet de se concentrer sur les exemples difficiles et d’accélérer l’apprentissage sans perte significative de qualité.

Les deux techniques aident LightGBM à fonctionner efficacement avec de grands ensembles de données tabulaires dispersées, en améliorant la vitesse et la qualité du boosting.