Co je to bagging a proč snižuje varianci modelu?

Bagging (Bootstrap Aggregating) je metoda ansámblování modelů, při které se vytváří mnoho tréninkových vzorků pomocí bootstrapu (náhodný výběr s vracením z původních dat). Pro každý takový vzorek se trénuje samostatný model a konečná předpověď se získá průměrováním (pro regresi) nebo hlasováním (pro klasifikaci) výsledků všech modelů.

Proč bagging snižuje varianci:

• Každý model je trénován na mírně odlišných datech, takže chyby modelů nejsou zcela korelované.
• Průměrování výsledků snižuje vliv náhodných chyb jednotlivých modelů.
• Výsledkem je, že ensemble je odolnější vůči přeučení a šumu v datech.

Tímto způsobem bagging snižuje rozptyl (varianci) modelu, zvyšuje jeho stabilitu a schopnost generalizace.