Кто занимался выкаткой в продакшен и какие метрики успеха были у проекта?

Выкаткой в продакшен обычно занимается команда DevOps или инженер по релизам, но в проектах с ML часто участвуют и дата-сайентисты или ML-инженеры.

Метрики успеха проекта зависят от целей, но могут включать:

• Качество модели: точность, полнота, F1-score на реальных данных.
• Время отклика сервиса.
• Стабильность и безотказность работы (uptime).
• Влияние на бизнес-показатели: рост конверсии, снижение затрат, улучшение пользовательского опыта.
• Мониторинг drift модели и своевременное обновление.

Например, при выкатке модели рекомендаций успехом будет рост CTR и удержания пользователей, при этом важно отслеживать, что модель не ухудшает производительность системы.