Kokie modeliai minimalizuoja bias ir kokie variance, lyginant boosting ir bagging?

Bagging (maišymas) ir boosting (stiprinimas) yra ansambliniai metodai, kurie skirtingai veikia modelio bias (systematinę klaidą) ir variance (sklaidą).

• Bagging (pavyzdžiui, atsitiktinis miškas) daugiausia sumažina variance. Jis kuria kelis modelius skirtinguose duomenų pogrupiuose su pakartotiniu ėmimu ir jų prognozes vidutiniškai apjungia, tai sumažina permokymąsi ir sklaidą, bet labai neįtakoja bias.

• Boosting (pavyzdžiui, AdaBoost, Gradient Boosting) siekia sumažinti bias. Jis mokina modelius sekos tvarka, kiekvienas iš jų taiso ankstesnių klaidas, leidžiant sukurti sudėtingesnius modelius ir sumažinti sisteminę klaidą, bet gali padidinti variance, jei per daug.

Santrauka:

Metodas	Bias minimizuoja	Variance mažina
Bagging	Vidutiniškai	Taip
Boosting	Taip	Gali didinti