Γιατί δεν μπορείς να μάθεις απλώς από τις εξόδους στο gradient boosting;

Στην ενίσχυση με βαθμίδες, η εκπαίδευση γίνεται στους υπολειπόμενους (βαθμίδες του σφάλματος), και όχι στις ίδιες τις εξόδους των προηγούμενων μοντέλων. Αν προσπαθήσετε να εκπαιδεύσετε τον επόμενο βασικό αλγόριθμο μόνο στις εξόδους των προηγούμενων, το μοντέλο δεν θα ελαχιστοποιήσει σωστά το σφάλμα, καθώς δεν λαμβάνει υπόψη την κατεύθυνση και το μέγεθος του σφάλματος, μόνο την τελική πρόβλεψη.

Η εκπαίδευση στους βαθμίδες επιτρέπει την διαδοχική διόρθωση των σφαλμάτων των προηγούμενων μοντέλων, διασφαλίζοντας σύγκλιση και βελτίωση της ποιότητας. Αν εκπαιδεύετε μόνο στις εξόδους, το μοντέλο μπορεί να υπερεκπαιδευτεί ή να μην φτάσει στο βέλτιστο, καθώς δεν λαμβάνει υπόψη πόσο και σε ποια κατεύθυνση πρέπει να διορθωθούν οι προβλέψεις.

Παράδειγμα: στην κλασική ενίσχυση με βαθμίδες, ο επόμενος αναδρομικός εκπαιδεύεται στη διαφορά μεταξύ των πραγματικών τιμών και των τρεχουσών προβλέψεων (υπολειπόμενα), και όχι στις ίδιες τις προβλέψεις.