Cosa sono EFB e GOSS in LightGBM?

In LightGBM, EFB (Exclusive Feature Bundling) e GOSS (Gradient-based One-Side Sampling) sono due tecniche di ottimizzazione che migliorano le prestazioni e la velocità di addestramento del modello.

• EFB (Raggruppamento Esclusivo di Caratteristiche): metodo che combina caratteristiche mutualmente esclusive in una sola, per ridurre la dimensionalità dei dati e accelerare l’addestramento. Ad esempio, se due caratteristiche non assumono mai valori diversi da zero contemporaneamente, possono essere unite in una, mantenendo l’informazione ma riducendo il numero di caratteristiche.

• GOSS (Campionamento Unilaterale Basato sul Gradiente): tecnica di selezione di un sottoinsieme di dati per l’addestramento, in cui si conservano tutti gli esempi con grandi gradienti (cioè quelli in cui il modello commette errori maggiori), e si prende un campione casuale di esempi con piccoli gradienti. Questo permette di concentrarsi su esempi difficili e accelerare l’addestramento senza perdita significativa di qualità.

Entrambe le tecniche aiutano LightGBM a lavorare in modo efficiente con grandi set di dati tabulari sparsi, migliorando velocità e qualità del boosting.