Ce sunt EFB și GOSS în LightGBM?

În LightGBM, EFB (Exclusive Feature Bundling) și GOSS (Gradient-based One-Side Sampling) sunt două tehnici de optimizare care îmbunătățesc performanța și viteza de antrenament a modelului.

• EFB (Îmbinare Excluzivă a Caracteristicilor): metodă care combină caracteristicile mutual exclusiv în una singură, pentru a reduce dimensionalitatea datelor și a accelera antrenamentul. De exemplu, dacă două caracteristici nu iau niciodată valori diferite de zero în același timp, pot fi combinate într-una singură, păstrând informația, dar reducând numărul de caracteristici.

• GOSS (Sampling pe O Singură Parte bazat pe Gradient): tehnică de selecție a unui subset de date pentru antrenament, în care se păstrează toate exemplele cu mari gradienti (adică cele în care modelul greșește mai mult), iar din exemplele cu mici gradienti se face o eșantionare aleatorie. Acest lucru permite concentrarea pe exemplele dificile și accelerarea antrenamentului fără pierderi semnificative de calitate.

Ambele tehnici ajută LightGBM să funcționeze eficient cu seturi mari de date tabelare dispersate, îmbunătățind viteza și calitatea boosting-ului.