Čo je to bagging a prečo znižuje varianciu modelu?

Bagging (Bootstrap Aggregating) je metóda ansámblovania modelov, pri ktorej sa vytvára viacero tréningových vzoriek pomocou bootstrapu (náhodný výber s vrátením z pôvodných dát). Pre každú takúto vzorku sa trénuje samostatný model a konečná predpoveď sa získa priemerovaním (pre regresiu) alebo hlasovaním (pre klasifikáciu) výsledkov všetkých modelov.

Prečo bagging znižuje varianciu:

• Každý model je trénovaný na mierne odlišných dátach, takže chyby modelov nie sú úplne korelované.
• Priemerné výsledky znižujú vplyv náhodných chýb jednotlivých modelov.
• Výsledkom je, že ansámbl je odolnejší voči preučeniu a šumu v dátach.

Týmto spôsobom bagging znižuje rozptyl (varianciu) modelu, zvyšuje jeho stabilitu a schopnosť generalizácie.