Как на практике почувствовать что тест сгорел или что произошёл distribution shift?

На практике признаки сгоревшего теста или distribution shift можно заметить по следующим симптомам:

• Резкое ухудшение метрик модели на новых данных (например, accuracy, precision, recall падают).
• Несоответствие распределения входных данных текущему, на котором обучалась модель (например, изменение статистик признаков).
• Повышенная частота ошибок или аномалий в работе модели.

Для выявления distribution shift часто используют мониторинг статистик признаков и метрик модели, а также методы детекции изменений, например, тесты на равенство распределений (Kolmogorov-Smirnov, Chi-square). Если обнаруживается значительное отклонение, это сигнал о том, что модель может работать некорректно и требует переобучения или адаптации.