Что такое bias и variance?

Bias (смещение) и variance (разброс) — это два ключевых понятия в машинном обучении, которые описывают ошибки модели:

• Bias (смещение) — это систематическая ошибка, возникающая из-за слишком простых предположений модели. Модель с высоким bias не способна хорошо аппроксимировать сложные зависимости в данных, что приводит к недообучению (underfitting).

• Variance (разброс) — это чувствительность модели к изменениям в обучающих данных. Модель с высоким variance слишком подстраивается под шум и особенности конкретного набора данных, что приводит к переобучению (overfitting).

Баланс между bias и variance — это компромисс: уменьшение bias обычно увеличивает variance и наоборот. Цель — найти оптимальный баланс, чтобы модель хорошо обобщала на новых данных.

Пример:

• Простая линейная регрессия может иметь высокий bias, если данные нелинейны.
• Сложная модель с большим числом параметров может иметь низкий bias, но высокий variance.

Понимание этого баланса помогает выбирать архитектуру модели и методы регуляризации.