Quem realizou o deployment em produção e quais foram as métricas de sucesso do projeto?

A implementação em produção é geralmente feita pela equipa de DevOps ou engenheiros de lançamento, mas em projetos de ML, frequentemente participam cientistas de dados ou engenheiros de ML.

As métricas de sucesso do projeto dependem dos objetivos, mas podem incluir:

• Qualidade do modelo: precisão, recall, pontuação F1 em dados reais.
• Tempo de resposta do serviço.
• Estabilidade e fiabilidade do funcionamento (uptime).
• Impacto nos indicadores de negócio: aumento da conversão, redução de custos, melhoria da experiência do utilizador.
• Monitorização do drift do modelo e atualização atempada.

Por exemplo, ao lançar um modelo de recomendações, o sucesso será um aumento no CTR e na retenção de utilizadores, sendo importante também monitorizar que o modelo não degrade o desempenho do sistema.