Τι είναι το gradient boosting με βάση το ιστόγραμμα;

Το boosting με βάση το ιστογράφημα είναι μια βελτιστοποίηση των αλγορίθμων boosting με gradient, όπου τα συνεχόμενα χαρακτηριστικά διακριτοποιούνται προκαταβολικά σε bins (καλάθια), και η εκπαίδευση γίνεται σε αυτές τις ιστογραμμικές αναπαραστάσεις.

Τα κύρια πλεονεκτήματα:

• Η σημαντική επιτάχυνση του υπολογισμού των gradient και της αναζήτησης των βέλτιστων διαχωρισμών, καθώς οι λειτουργίες εκτελούνται σε έναν περιορισμένο αριθμό bins, και όχι σε όλες τις μοναδικές τιμές των χαρακτηριστικών.
• Μειωμένη κατανάλωση μνήμης.

Ένα παράδειγμα χρήσης: δημοφιλείς βιβλιοθήκες όπως το LightGBM χρησιμοποιούν boosting με βάση το ιστογράφημα για αποτελεσματική εκπαίδευση σε μεγάλα πίνακες δεδομένων.

Η ιδέα είναι να αντικατασταθεί η αναζήτηση των βέλτιστων ορίων διαχωρισμού με μια εξαντλητική αναζήτηση στα bins, που απλοποιεί και επιταχύνει την κατασκευή των δέντρων.