Что такое bias-variance trade-off?

Bias-variance trade-off — это фундаментальная концепция в машинном обучении, описывающая компромисс между двумя типами ошибок при обучении модели:

• Bias (смещение) — ошибка, возникающая из-за слишком простой модели, которая не способна хорошо описать данные (недообучение).
• Variance (дисперсия) — ошибка, связанная с тем, что модель слишком чувствительна к шуму в обучающих данных и плохо обобщается на новые данные (переобучение).

Если модель слишком простая, она будет иметь высокий bias и низкую variance. Если слишком сложная — низкий bias, но высокая variance.

Цель — найти баланс, при котором модель достаточно сложна, чтобы уловить закономерности, но не слишком, чтобы не подстраиваться под шум.

Пример: при обучении регрессии с полиномами низкой степени (линейная регрессия) bias будет высоким, а variance низким; при высокой степени полинома — наоборот.