Wat is histogramgebaseerde gradient boosting?

Histogram-gebaseerde gradient boosting is een optimalisatie van gradient boosting-algoritmen, waarbij continue kenmerken vooraf worden gediscretiseerd in bins (manden), en de training plaatsvindt op deze histogramrepresentaties.

Belangrijkste voordelen:

• Significante versnelling van het berekenen van gradients en het zoeken naar optimale splitsingen, omdat de operaties worden uitgevoerd op een beperkt aantal bins, en niet op alle unieke waarden van de kenmerken.
• Verminderd geheugenverbruik.

Een voorbeeld van gebruik: populaire bibliotheken zoals LightGBM gebruiken histogram-based boosting voor efficiënte training op grote tabelgegevens.

Het idee is om het zoeken naar optimale drempels voor splitsingen te vervangen door een brute-force zoekopdracht in de bins, wat het bouwen van bomen vereenvoudigt en versnelt.