Кои модели минимизират bias и кои вариация, сравнявайки boosting и bagging?

Bagging и boosting са ансамблови методи, които по различен начин влияят на bias (систематична грешка) и variance (разпръскване) на модела.

• Bagging (например, случаен лес) намалява предимно variance. Той изгражда множество модели върху различни подмножества от данни с връщане и взема средната им прогноза, което намалява пренасочването и разпръскването, но не влияе много на bias.

• Boosting (например, AdaBoost, Gradient Boosting) е насочен към намаляване на bias. Той последователно обучава модели, всеки от които коригира грешките на предишните, което позволява създаването на по-сложни модели и намаляване на систематичната грешка, но може да увеличи variance, ако се прекали.

Обобщение:

Метод	Минимизира bias	Минимизира variance
Bagging	Умерено	Да
Boosting	Да	Може да увеличи