Šta je bagging i zašto smanjuje varijansu modela?

Bagging (Bootstrap Aggregating) je metoda ansambliranja modela u kojoj se kreira više uzoraka za obuku pomoću bootstrap-a (nasumično uzorkovanje sa vraćanjem iz originalnih podataka). Za svaki takav uzorak trenira se poseban model, a konačna prognoza se dobija prosekom (za regresiju) ili glasovanjem (za klasifikaciju) rezultata svih modela.

Zašto bagging smanjuje varijansu:

• Svaki model se trenira na malo različitih podataka, pa greške modela nisu potpuno korelisane.
• Prosečno uzimanje rezultata smanjuje uticaj slučajnih grešaka pojedinačnih modela.
• Kao rezultat, ansambl postaje otporniji na preprilagođavanje i šum u podacima.

Na ovaj način, bagging smanjuje rasipanje (varijansu) modela, povećavajući njegovu stabilnost i sposobnost generalizacije.