Τι είναι το EFB και το GOSS στο LightGBM;

Στο LightGBM, το EFB (Exclusive Feature Bundling) και το GOSS (Gradient-based One-Side Sampling) είναι δύο τεχνικές βελτιστοποίησης που βελτιώνουν την απόδοση και την ταχύτητα εκπαίδευσης του μοντέλου.

• EFB (Αποκλειστικός Συνδυασμός Χαρακτηριστικών): μέθοδος που συνδυάζει αμοιβαία αποκλειόμενα χαρακτηριστικά σε ένα, για να μειώσει τη διαστατικότητα των δεδομένων και να επιταχύνει την εκπαίδευση. Για παράδειγμα, αν δύο χαρακτηριστικά ποτέ δεν παίρνουν μη μηδενικές τιμές ταυτόχρονα, μπορούν να συγχωνευθούν σε ένα, διατηρώντας την πληροφορία αλλά μειώνοντας τον αριθμό των χαρακτηριστικών.

• GOSS (Δειγματοληψία με Βάση το Gradient από Μία Πλευρά): τεχνική επιλογής υποσυνόλου δεδομένων για εκπαίδευση, όπου διατηρούνται όλα τα παραδείγματα με μεγάλα gradients (δηλαδή, αυτά στα οποία το μοντέλο κάνει μεγαλύτερα λάθη), και από τα παραδείγματα με μικρά gradients λαμβάνεται τυχαίο δείγμα. Αυτό επιτρέπει να εστιάσουμε σε δύσκολα παραδείγματα και να επιταχύνουμε την εκπαίδευση χωρίς σημαντική απώλεια ποιότητας.

Αυτές οι τεχνικές βοηθούν το LightGBM να λειτουργεί αποτελεσματικά με μεγάλα και αραιά πίνακα δεδομένων, βελτιώνοντας την ταχύτητα και την ποιότητα του boosting.