Kuri modeļi samazina biasu un kuri varianci, salīdzinot boosting un bagging?

Bagging (sajaukšana) un boosting (paaugstināšana) ir ansambļa metodes, kas dažādi ietekmē modeļa bias (systemātisko kļūdu) un variance (izkliedi).

• Bagging (piemēram, nejaušais mežs) galvenokārt samazina variance. Tas veido vairākus modeļus uz dažādiem datu apakšsaimniekiem ar atgriešanos un vidēji apvieno to prognozes, kas samazina pārtrenēšanu un izkliedi, bet ļoti neietekmē bias.

• Boosting (piemēram, AdaBoost, Gradient Boosting) ir vērsts uz bias samazināšanu. Tas secīgi apmāca modeļus, katrs labojot iepriekšējo kļūdas, ļaujot radīt sarežģītākus modeļus un samazināt sistēmisko kļūdu, bet var palielināt variance, ja pārspīlē.

Kopsavilkums:

Metode	Bias minimizēšana	Variance samazināšana
Bagging	Mēreni	Jā
Boosting	Jā	Var palielināt