Czym jest gradient boosting oparty na histogramach?

Gradient boosting oparty na histogramach to optymalizacja algorytmów gradient boosting, w której cechy ciągłe są uprzednio dyskretyzowane w biny (koszyki), a trening odbywa się na tych reprezentacjach histogramowych.

Główne zalety:

• Znaczne przyspieszenie obliczania gradientów i wyszukiwania optymalnych podziałów, ponieważ operacje wykonywane są na ograniczonej liczbie binów, a nie na wszystkich unikalnych wartościach cech.
• Zmniejszone zużycie pamięci.

Przykład zastosowania: popularne biblioteki, takie jak LightGBM, używają histogram-based boosting do efektywnego uczenia na dużych danych tabelarycznych.

Idea polega na zastąpieniu poszukiwania optymalnych progów podziału przeszukiwaniem po dyskretnych binach, co upraszcza i przyspiesza budowę drzew.