Czym są EFB i GOSS w LightGBM?

W LightGBM, EFB (Exclusive Feature Bundling) i GOSS (Gradient-based One-Side Sampling) to dwie techniki optymalizacji, które poprawiają wydajność i szybkość uczenia modelu.

• EFB (Ekskluzywne łączenie cech): metoda łączenia wzajemnie wykluczających się cech w jedną, aby zmniejszyć wymiarowość danych i przyspieszyć uczenie. Na przykład, jeśli dwa cechy nigdy nie przyjmują jednocześnie wartości innych niż zero, można je połączyć w jedną, zachowując informacje, ale zmniejszając liczbę cech.

• GOSS (Gradient-based One-Side Sampling): technika wyboru podzbioru danych do uczenia, w której zachowuje się wszystkie przykłady z dużymi gradientami (czyli te, na których model popełnia większe błędy), a z przykładów z małymi gradientami losowo wybiera się próbę. Pozwala to skupić się na trudnych przykładach i przyspieszyć uczenie bez znacznej utraty jakości.

Obie techniki pomagają LightGBM efektywnie pracować z dużymi i rzadkimi tabelarycznymi danymi, poprawiając szybkość i jakość boosting.