Τι είναι το bagging και γιατί μειώνει τη διακύμανση του μοντέλου;

Το Bagging (Bootstrap Aggregating) είναι μια μέθοδος συνδυασμού μοντέλων όπου δημιουργούνται πολλαπλά δείγματα εκπαίδευσης με τη χρήση bootstrap (τυχαία δειγματοληψία με επιστροφή από τα αρχικά δεδομένα). Για κάθε τέτοιο δείγμα, εκπαιδεύεται ένα ξεχωριστό μοντέλο, και η τελική πρόβλεψη προκύπτει από τον μέσο όρο (για παλινδρόμηση) ή την ψηφοφορία (για ταξινόμηση) των αποτελεσμάτων όλων των μοντέλων.

Γιατί το bagging μειώνει τη διακύμανση:

• Κάθε μοντέλο εκπαιδεύεται σε ελαφρώς διαφορετικά δεδομένα, επομένως τα σφάλματα των μοντέλων δεν είναι πλήρως συσχετισμένα.
• Ο μέσος όρος των αποτελεσμάτων μειώνει την επίδραση τυχαίων σφαλμάτων των μεμονωμένων μοντέλων.
• Ως αποτέλεσμα, το σύνολο γίνεται πιο ανθεκτικό στο overfitting και το θόρυβο στα δεδομένα.

Έτσι, το bagging μειώνει την διασπορά (διακύμανση) του μοντέλου, αυξάνοντας τη σταθερότητά του και την ικανότητά του για γενίκευση.