Как замерять bias и variance модели?

Bias (смещение) и variance (дисперсия) — два ключевых параметра, которые помогают оценить качество модели машинного обучения.

• Bias показывает, насколько предсказания модели систематически отличаются от истинных значений. Высокий bias означает, что модель слишком проста и не может хорошо описать данные (недообучение).
• Variance отражает чувствительность модели к изменениям в обучающих данных. Высокая дисперсия означает, что модель слишком сложна и сильно подстраивается под шум в данных (переобучение).

Чтобы замерить bias и variance, обычно используют разбиение данных на обучающую и тестовую выборки:

1. Обучают модель на обучающей выборке.
2. Вычисляют ошибку на обучающей выборке (train error) и на тестовой выборке (test error).

• Высокая ошибка на обучении и тесте говорит о высоком bias.
• Низкая ошибка на обучении, но высокая на тесте — признак высокой variance.

Для более точной оценки применяют методы кросс-валидации, которые позволяют усреднить ошибки по разным разбиениям данных.