Как определить, что у модели высокий variance?

Высокий variance у модели означает, что она слишком сильно подстраивается под обучающие данные и плохо обобщается на новые. Это проявляется в следующем:

• Очень низкая ошибка на обучающей выборке.
• Значительно более высокая ошибка на тестовой или валидационной выборке.

Другими словами, модель переобучена и чувствительна к шуму в данных. Для диагностики можно построить кривые обучения (learning curves): если ошибка на обучении низкая, а на валидации высокая и не снижается с увеличением данных, значит variance высокий.

Пример:

from sklearn.model_selection import learning_curve
import matplotlib.pyplot as plt

train_sizes, train_scores, val_scores = learning_curve(model, X, y, cv=5)

plt.plot(train_sizes, train_scores.mean(axis=1), label='Train Error')
plt.plot(train_sizes, val_scores.mean(axis=1), label='Validation Error')
plt.legend()
plt.show()

Если кривая обучения показывает большую разницу между ошибками, это признак высокого variance.