Какие метрики мониторинга ML-моделей в проде вы настраивали?

Для мониторинга ML-моделей в продакшене обычно настраивают следующие метрики:

• Точность (Accuracy) — доля правильных предсказаний.
• Precision и Recall — особенно важны при несбалансированных классах.
• F1-score — гармоническое среднее precision и recall.
• ROC-AUC — качество классификации на разных порогах.
• Latency (задержка) — время ответа модели.
• Throughput — количество запросов в единицу времени.
• Drift detection — отслеживание изменений распределения входных данных или предсказаний.
• Error rate — частота ошибок.

Настройка мониторинга включает сбор этих метрик в реальном времени, оповещения при отклонениях и визуализацию для анализа. Например, можно использовать Prometheus и Grafana для сбора и отображения метрик, а также инструменты для детекции дрейфа, такие как Evidently AI или собственные скрипты.