Které modely minimalizují bias a které varianci, porovnávající boosting a bagging?

Bagging a boosting jsou metody ansámblu, které různě ovlivňují bias (systémovou chybu) a varianci (rozptyl) modelu.

• Bagging (například náhodný les) primárně snižuje varianci. Vytváří více modelů na různých podmnožinách dat s opakováním a průměruje jejich předpovědi, což snižuje přeučení a rozptyl, ale příliš neovlivňuje bias.

• Boosting (například AdaBoost, Gradient Boosting) je zaměřen na snížení bias. Sekvenčně trénuje modely, z nichž každý opravuje chyby předchozích, což umožňuje vytvářet složitější modely a snižovat systémovou chybu, ale může zvýšit varianci, pokud se to přehání.

Stručně řečeno:

Metoda	Minimalizuje bias	Minimalizuje varianci
Bagging	Mírně	Ano
Boosting	Ano	Může zvyšovat