¿Qué son EFB y GOSS en LightGBM?

En LightGBM, EFB (Exclusive Feature Bundling) y GOSS (Gradient-based One-Side Sampling) son dos técnicas de optimización que mejoran el rendimiento y la velocidad de entrenamiento del modelo.

• EFB (Agrupamiento Exclusivo de Características): método que combina características mutuamente excluyentes en una sola, para reducir la dimensionalidad de los datos y acelerar el entrenamiento. Por ejemplo, si dos características nunca toman valores distintos de cero al mismo tiempo, se pueden combinar en una, conservando la información pero reduciendo el número de características.

• GOSS (Muestreo Unilateral Basado en Gradientes): técnica de selección de subconjuntos de datos para entrenamiento, en la que se conservan todos los ejemplos con grandes gradientes (es decir, aquellos en los que el modelo comete errores mayores), y se toma una muestra aleatoria de los ejemplos con pequeños gradientes. Esto permite centrarse en ejemplos difíciles y acelerar el entrenamiento sin pérdida significativa de calidad.

Ambas técnicas ayudan a LightGBM a trabajar de manera eficiente con grandes conjuntos de datos tabulares dispersos, mejorando la velocidad y la calidad del boosting.