Kas yra bagging ir kodėl jis sumažina modelio variaciją?

Bagging (Bootstrap Aggregating) — tai modelių ansamblio metodas, kai naudojant bootstrap (atsitiktinis imties iš pačių duomenų su grąžinimu) sukuriama daug mokymosi pavyzdžių. Kiekvienam tokiam pavyzdžiui mokomas atskiras modelis, o galutinis prognozė gaunama vidurkio (regresijai) arba balsavimo (klasifikacijai) būdu.

Kodėl bagging sumažina variaciją:

• Kiekvienas modelis mokomas šiek tiek skirtingais duomenimis, todėl modelių klaidos nėra visiškai koreliuotos.
• Rezultatų vidurkis sumažina atsitiktinių klaidų įtaką atskiriems modeliams.
• Dėl to ansamblis tampa stabilesnis ir atsparus per mokymuisi ir triukšmui duomenyse.

Taip bagging sumažina modelio dispersiją (variaciją), padidindamas jo stabilumą ir bendrąją gebėjimą.