Что такое EFB и GOSS в LightGBM?

В LightGBM, EFB (Exclusive Feature Bundling) и GOSS (Gradient-based One-Side Sampling) — это две техники оптимизации, которые улучшают производительность и скорость обучения модели.

• EFB (Exclusive Feature Bundling) — метод объединения взаимно исключающих признаков в один, чтобы уменьшить размерность данных и ускорить обучение. Например, если два признака никогда не принимают ненулевые значения одновременно, их можно объединить в один, сохраняя информацию, но уменьшая количество признаков.

• GOSS (Gradient-based One-Side Sampling) — техника отбора подмножества данных для обучения, при которой сохраняются все примеры с большими градиентами (то есть те, на которых модель ошибается сильнее), а из примеров с малыми градиентами берется случайная выборка. Это позволяет сосредоточиться на сложных примерах и ускорить обучение без значительной потери качества.

Обе техники помогают LightGBM эффективно работать с большими и разреженными табличными данными, улучшая скорость и качество бустинга.