Что такое bias и variance модели?

Bias (смещение) и variance (дисперсия) — это два ключевых понятия, описывающих ошибки модели машинного обучения.

• Bias (смещение) — это ошибка, возникающая из-за слишком простой модели, которая не способна хорошо описать данные. Модель с высоким bias недообучена (underfitting) и плохо предсказывает как на тренировочных, так и на новых данных.

• Variance (дисперсия) — это ошибка, связанная с чувствительностью модели к шуму в обучающих данных. Модель с высокой дисперсией переобучается (overfitting), хорошо работает на тренировочных данных, но плохо обобщает на новые.

Баланс между bias и variance важен для хорошей модели. Обычно при увеличении сложности модели bias уменьшается, а variance растет.

Пример:

• Простая линейная регрессия может иметь высокий bias, если данные нелинейные.
• Сложная модель, например, глубокая нейронная сеть, может иметь низкий bias, но высокую variance, если переобучается на тренировочных данных.