Mely modellek minimalizálják a bias-t és melyek a varianciát, összehasonlítva a boostingot és a bagginget?

A bagging és boosting olyan ensemble módszerek, amelyek különböző módon befolyásolják a modell bias (torzítás) és varianciáját (szórás).

• Bagging (pl. véletlenszerű erdő) elsősorban a varianciát csökkenti. Több modellt épít különböző adatmintákon visszatevéssel, és átlagolja azok előrejelzéseit, ezáltal csökkentve a túlillesztést és a szórást, de nem befolyásolja jelentősen a bias-t.

• Boosting (pl. AdaBoost, Gradient Boosting) a bias csökkentésére irányul. Sorozatosan tanít modelleket, mindegyik javítva az előző hibáit, így összetettebb modelleket lehet létrehozni és csökkenteni a rendszeres hibát, de túlzás esetén növelheti a varianciát.

Összefoglalva:

Módszer	Bias csökkentése	Variancia csökkentése
Bagging	Mérsékelt	Igen
Boosting	Igen	Növelheti