Τι είναι το gradient boosting; Πού εμφανίζεται το gradient;

Το gradient boosting είναι μια μέθοδος ensemble μάθησης που χτίζει ένα μοντέλο διαδοχικά, προσθέτοντας νέα αδύναμα μοντέλα (συνήθως δέντρα αποφάσεων) για να διορθώσει τα λάθη των προηγούμενων.

Το gradient εμφανίζεται όταν κάθε νέο μοντέλο εκπαιδεύεται πάνω στο gradient της συνάρτησης απώλειας σε σχέση με τις προβλέψεις του τρέχοντος ensemble μοντέλου. Με απλά λόγια, ελαχιστοποιούμε το σφάλμα χρησιμοποιώντας την κατιούσα του gradient στον χώρο των συναρτήσεων.

Σε κάθε βήμα, υπολογίζεται το gradient του σφάλματος (κατεύθυνση και μέγεθος στην οποία πρέπει να βελτιωθούν οι προβλέψεις), και το νέο μοντέλο εκπαιδεύεται για να προβλέψει αυτό το gradient, διορθώνοντας έτσι την τελική πρόβλεψη.

Αυτό επιτρέπει τη μείωση του σφάλματος αποτελεσματικά και τη βελτίωση της ποιότητας του μοντέλου μέσω διαδοχικής μάθησης από τα λάθη των προηγούμενων μοντέλων.