Ce este bagging și de ce reduce varianta modelului?

Bagging (Bootstrap Aggregating) este o metodă de ansamblare a modelelor, în care se creează multiple eșantioane de antrenament folosind bootstrap (eșantionare aleatorie cu revenire din datele originale). Pentru fiecare astfel de eșantion, se antrenează un model separat, iar predicția finală se obține prin media (pentru regresie) sau votarea (pentru clasificare) rezultatelor tuturor modelelor.

De ce bagging reduce varianta:

• Fiecare model este antrenat pe date ușor diferite, astfel încât erorile modelelor nu sunt complet corelate.
• Media rezultatelor reduce influența erorilor aleatorii ale modelelor individuale.
• În cele din urmă, ansamblul devine mai rezistent la overfitting și zgomot în date.

Astfel, bagging reduce dispersia (varianța) modelului, crescând stabilitatea și capacitatea de generalizare.