Wat zijn EFB en GOSS in LightGBM?

In LightGBM zijn EFB (Exclusive Feature Bundling) en GOSS (Gradient-based One-Side Sampling) twee optimalisatietechnieken die de prestaties en de snelheid van het model verbeteren.

• EFB (Exclusieve Kenmerken Bundeling): methode die elkaar uitsluitende kenmerken combineert tot één, om de dimensionaliteit van de gegevens te verminderen en de training te versnellen. Bijvoorbeeld, als twee kenmerken nooit gelijktijdig niet-nulwaarden aannemen, kunnen ze worden samengevoegd tot één, waarbij de informatie behouden blijft maar het aantal kenmerken wordt verminderd.

• GOSS (Gradient-gebaseerde Eén-Zijde Sampling): techniek voor het selecteren van een subset van gegevens voor training, waarbij alle voorbeelden met grote gradiënten (dat wil zeggen, die waarop het model meer fouten maakt) worden behouden, en een willekeurige steekproef wordt genomen uit de voorbeelden met kleine gradiënten. Dit stelt je in staat om je te richten op moeilijke voorbeelden en de training te versnellen zonder significante kwaliteitsverlies.

Beide technieken helpen LightGBM efficiënt te werken met grote en sparse tabelgegevens, en verbeteren de snelheid en kwaliteit van boosting.