Mis on bagging ja miks see vähendab mudeli varieeruvust?

Bagging (Bootstrap Aggregating) on mudelite ansambli meetod, kus luuakse mitu treeningnäidet bootstrapi (juhusliku valiku tagasipööramisega algandmetest). Iga sellise näite kohta treenitakse eraldi mudel ning lõplik prognoos saadakse kõigi mudelite tulemuste keskmistamise (regressiooni puhul) või häälteenamusega (klassifikatsiooni puhul).

Miks bagging vähendab variatsiooni:

• Iga mudel treenitakse veidi erinevatel andmetel, seega mudelite vead ei ole täielikult korreleeritud.
• Tulemuste keskmistamine vähendab juhuslike vigade mõju üksikutele mudelitele.
• Tulemuseks muutub ansambel vastupidavamaks üleõppimisele ja müra suhtes andmetes.

Seega, bagging vähendab mudeli hajuvust (variatsiooni), suurendades selle stabiilsust ja üldistamisvõimet.