Mi az a bagging és miért csökkenti a modell varianciáját?

A Bagging (Bootstrap Aggregating) egy modellcsomagolási módszer, amely során több tanulási mintát hozunk létre bootstrap (eredeti adatokból véletlenszerű mintavétel visszatekeréssel). Minden ilyen mintán külön modellt tanítunk, és a végső előrejelzést az összes modell eredményeinek átlagolásával (regresszió esetén) vagy szavazásával (osztályozás esetén) kapjuk.

Miért csökkenti a bagging a varianciát:

• Minden modell kicsit más adatokon tanul, így a modellek hibái nem teljesen korreláltak.
• Az eredmények átlagolása csökkenti az egyéni modellek véletlenszerű hibáinak hatását.
• Ennek eredményeként az ensemble jobban ellenáll a túlillesztésnek és a zajnak az adatokban.

Így a bagging csökkenti a modell szórását (varianciáját), növelve annak stabilitását és általánosítási képességét.