Cos'è il boosting del gradiente basato su istogrammi?

Il boosting basato su istogrammi è un'ottimizzazione degli algoritmi di boosting del gradiente, in cui le caratteristiche continue vengono discretizzate preventivamente in bin (contenitori), e l'addestramento avviene su queste rappresentazioni istogrammate.

Vantaggi principali:

• Accelerazione significativa nel calcolo dei gradienti e nella ricerca delle suddivisioni ottimali, poiché le operazioni vengono eseguite su un numero limitato di bin, e non su tutti i valori unici delle caratteristiche.
• Riduzione del consumo di memoria.

Un esempio di utilizzo: librerie popolari come LightGBM utilizzano il boosting basato su istogrammi per un addestramento efficiente su grandi set di dati tabulari.

L'idea è di sostituire la ricerca di soglie ottimali per la suddivisione con una ricerca esaustiva sui bin, semplificando e accelerando la costruzione degli alberi.