Ktoré modely minimalizujú bias a ktoré varianciu, porovnávaním boosting a bagging?

Bagging a boosting sú metódy ansámblu, ktoré rôzne ovplyvňujú bias (systémovú chybu) a varianciu (rozptyl) modelu.

• Bagging (napríklad náhodný les) primárne znižuje varianciu. Vytvára viac modelov na rôznych podmnožinách dát s opakovacím výberom a priemeruje ich predpovede, čím znižuje preškolenie a rozptyl, ale veľmi neovplyvňuje bias.

• Boosting (napríklad AdaBoost, Gradient Boosting) je zameraný na zníženie biasu. Sekvenčne trénuje modely, z ktorých každý opravuje chyby predchádzajúcich, čo umožňuje vytvárať zložitejšie modely a znižovať systémovú chybu, ale môže zvýšiť varianciu, ak sa to preženie.

Stručne povedané:

Metóda	Minimalizuje bias	Minimalizuje varianciu
Bagging	Mierne	Áno
Boosting	Áno	Môže zvyšovať