Jak w praktyce rozpoznać, że test się wyczerpał lub doszło do zmiany rozkładu?

На практике признаки сгоревшего теста или distribution shift можно заметить по следующим симптомам:

• Резкое ухудшение метрик модели на новых данных (например, accuracy, precision, recall падают).
• Несоответствие распределения входных данных текущему, на котором обучалась модель (например, изменение статистик признаков).
• Повышенная частота ошибок или аномалий в работе модели.

Для выявления distribution shift часто используют мониторинг статистик признаков и метрик модели, а также методы детекции изменений, например, тесты на равенство распределений (Kolmogorov-Smirnov, Chi-square). Если обнаруживается значительное отклонение, это сигнал о том, что модель может работать некорректно и требует переобучения или адаптации.