Was ist histogrammbasierter Gradient Boosting?

Histogrammbasierter Gradient Boosting ist eine Optimierung der Gradient-Boosting-Algorithmen, bei der kontinuierliche Merkmale vorab in Bins (Körbe) diskretisiert werden, und das Training auf diesen histogrammierten Darstellungen erfolgt.

Hauptvorteile:

• Deutliche Beschleunigung der Berechnung von Gradienten und der Suche nach optimalen Aufteilungen, da die Operationen auf eine begrenzte Anzahl von Bins beschränkt sind und nicht auf alle einzigartigen Merkmale.
• Geringerer Speicherverbrauch.

Ein Anwendungsbeispiel: Beliebte Bibliotheken wie LightGBM verwenden histogrammbasiertes Boosting für effizientes Training auf großen tabellarischen Daten.

Die Idee ist, die Suche nach optimalen Schwellenwerten für die Aufteilung durch eine exhaustive Suche in den Bins zu ersetzen, was den Aufbau von Bäumen vereinfacht und beschleunigt.