Ποια μοντέλα ελαχιστοποιούν το bias και ποια τη διακύμανση, συγκρίνοντας το boosting και το bagging;

Το bagging και το boosting είναι μέθοδοι συνόλου που επηρεάζουν διαφορετικά το bias (συστηματικό σφάλμα) και τη διακύμανση (διασπορά) του μοντέλου.

• Bagging (π.χ., τυχαίο δάσος) μειώνει κυρίως τη διακύμανση. Χτίζει πολλά μοντέλα σε διαφορετικά υποσύνολα δεδομένων με αντικατάσταση και μέσο όρο τις προβλέψεις τους, μειώνοντας το υπερπροσαρμογή και τη διασπορά, αλλά δεν επηρεάζει πολύ το bias.

• Boosting (π.χ., AdaBoost, Gradient Boosting) στοχεύει στη μείωση του bias. Εκπαιδεύει διαδοχικά μοντέλα, κάθε ένα από τα οποία διορθώνει τα λάθη των προηγούμενων, επιτρέποντας τη δημιουργία πιο πολύπλοκων μοντέλων και τη μείωση του συστηματικού σφάλματος, αλλά μπορεί να αυξήσει τη διακύμανση αν υπερβεί τα όρια.

Συνοπτικά:

Μέθοδος	Ελαχιστοποιεί το bias	Ελαχιστοποιεί τη διακύμανση
Bagging	Μέτρια	Ναι
Boosting	Ναι	Μπορεί να αυξήσει