Какие модели минимизируют bias, а какие variance, сравнивая бустинг и бэггинг?

Бэггинг (bagging) и бустинг (boosting) — это ансамблевые методы, которые по-разному влияют на bias (смещение) и variance (разброс) модели.

• Бэггинг (например, случайный лес) в первую очередь уменьшает variance. Он строит множество моделей на разных подвыборках данных с заменой и усредняет их предсказания, что снижает переобучение и разброс, но не сильно влияет на bias.

• Бустинг (например, AdaBoost, Gradient Boosting) направлен на уменьшение bias. Он последовательно обучает модели, каждая из которых исправляет ошибки предыдущих, что позволяет создавать более сложные модели и снижать систематическую ошибку, но может увеличить variance, если переусердствовать.

Итого:

Метод	Минимизирует bias	Минимизирует variance
Бэггинг	Умеренно	Да
Бустинг	Да	Может увеличивать