Что такое training-serving skew и как его обнаружить?

Training-serving skew — это ситуация, когда данные, на которых обучалась модель (training data), отличаются от данных, на которых модель используется в продакшене (serving data). Это может привести к ухудшению качества предсказаний.

Причины skew могут быть разными: изменение распределения данных, разный препроцессинг, ошибки в пайплайне, несоответствие форматов и т.п.

Как обнаружить:

• Сравнить статистики признаков (среднее, дисперсия, распределение) между тренировочными и продакшен-данными.
• Использовать метрики качества модели на продакшен-данных (если есть метки).
• Внедрить мониторинг данных и модели, отслеживать аномалии и дрейф.
• Автоматизированные инструменты для обнаружения дрейфа (например, Kolmogorov-Smirnov тест).

Пример: если в обучении признак "возраст" был в диапазоне 18-65, а в продакшене начали поступать данные с возрастом 10 или 90, это может вызвать skew.