Mi történik, ha bagging-et alkalmazunk lineáris algoritmusokra?

A bagging (bootstrap aggregating) lineáris algoritmusokra való alkalmazása általában nem eredményez jelentős teljesítményjavulást. Ennek oka, hogy a lineáris modellek általában alacsony varianciával és magas torzítással rendelkeznek. A bagging hatékony magas varianciájú modellekhez (például döntési fákhoz), mivel csökkenti a változékonyságot az átlagolás révén.

Lineáris modelleken alkalmazva a bagging:

• A különböző mintákon tanított modellek átlagolása nem csökkenti jelentősen a hibát.
• Kicsit növelheti a zajjal szembeni ellenállást, de az előny általában nem jelentős.

Ezért lineáris algoritmusok esetén általában más fejlesztési módszereket alkalmaznak, például regularizációt vagy jellemzők kiválasztását, és a bagginget összetettebb, instabilabb modelleken használják.