Millised mudelid minimeerivad biasi ja millised variatsiooni, võrdledes boostingut ja baggingut?

Bagging ja boosting on ansamblmeetodid, mis mõjutavad erinevalt mudeli bias-i (süsteemset viga) ja variatsiooni (levikut).

• Bagging (näiteks juhuslik mets) vähendab peamiselt variatsiooni. See loob mitu mudelit erinevatel andmekogumitel koos tagasivaliku ja nende prognooside keskmise arvutamisega, mis vähendab üleõppimist ja levikut, kuid ei mõjuta palju bias-i.

• Boosting (näiteks AdaBoost, Gradient Boosting) on suunatud bias-i vähendamisele. See treenib järjestikuseid mudeleid, millest igaüks parandab eelnevaid vigu, võimaldades luua keerukamaid mudeleid ja vähendada süsteemset viga, kuid võib suurendada variatsiooni, kui seda üle teha.

Kokkuvõte:

Meetod	Bias-i minimeerimine	Variatsiooni vähendamine
Bagging	Mõõdukas	Jah
Boosting	Jah	Võib suurendada