Kas ir bagging un kāpēc tas samazina modeļa varianci?

Bagging (Bootstrap Aggregating) ir metodes modeļu ansamblēšanai, kurā tiek izveidotas vairākas apmācību paraugi, izmantojot bootstrap (nejauša izlase ar atgriešanos no sākotnējiem datiem). Katram šādai paraugam tiek apmācīts atsevišķs modelis, un galīgā prognoze tiek iegūta, vidēji ņemot (regresijai) vai balsojot (klasifikācijai) par visiem modeļiem.

Kāpēc bagging samazina varianci:

• Katrs modelis tiek apmācīts uz nedaudz atšķirīgiem datiem, tāpēc modeļu kļūdas nav pilnībā korelētas.
• Rezultātu vidējums samazina nejaušo kļūdu ietekmi atsevišķos modeļos.
• Rezultātā ansamblis kļūst izturīgāks pret pārmācīšanos un trokšņiem datos.

Tādējādi, bagging samazina modeļa dispersiju (varianci), palielinot tā stabilitāti un vispārējo spēju generalizēt.