Τι θα συμβεί με την ποιότητα κάθε μοντέλου αν διαγράψουμε το πρώτο δέντρο που κατασκευάστηκε σε ένα gradient boosting και ένα τυχαίο δάσος με 1000 δέντρα;

Στην περίπτωση τυχαίου δάσους, κάθε δέντρο κατασκευάζεται ανεξάρτητα, και η τελική πρόβλεψη είναι ένας μέσος όρος (παλινδρόμηση) ή μια ψήφος (κατηγοριοποίηση) όλων των δέντρων. Αν αφαιρεθεί το πρώτο δέντρο, η ποιότητα του μοντέλου ελαφρώς μειώνεται, αλλά όχι σημαντικά, καθώς τα υπόλοιπα 999 δέντρα συνεχίζουν να λειτουργούν και να αντισταθμίζουν την απώλεια.

Στην περίπτωση βελτιστοποίησης με βαθμίδες, τα δέντρα κατασκευάζονται διαδοχικά, κάθε ένα εκπαιδεύεται στα λάθη των προηγούμενων. Το πρώτο δέντρο δίνει μια αρχική προσέγγιση. Αν αφαιρεθεί το πρώτο δέντρο, ολόκληρη η ακολουθία διακόπτεται, και η ποιότητα του μοντέλου θα επιδεινωθεί σημαντικά, καθώς τα επόμενα δέντρα δεν θα μπορούν να διορθώσουν σωστά το σφάλμα χωρίς την αρχική προσέγγιση.

Αποτέλεσμα:

• Τυχαίο δάσος: μικρή μείωση της ποιότητας, το μοντέλο παραμένει λειτουργικό.
• Βελτιστοποίηση με βαθμίδες: σημαντική επιδείνωση της ποιότητας, το μοντέλο χάνει το νόημά του χωρίς το πρώτο δέντρο.