Pode a nova modelo com F1-score de 0,81 ser considerada melhor do que o modelo com 0,8 e ser imediatamente lançada em produção?

Não se pode automaticamente considerar que um modelo com um F1-score de 0,81 é melhor do que um com 0,8 e lançá-lo diretamente em produção. A diferença de 0,01 pode ser estatisticamente insignificante e não garantir melhorias em condições reais.

Antes do lançamento, deve-se:

• Realizar um teste estatístico de significância (por exemplo, bootstrap) para avaliar a confiabilidade da melhoria.
• Avaliar o modelo em um conjunto de dados de teste independente.
• Verificar a estabilidade e o desempenho do modelo em condições próximas às de produção.
• Avaliar o impacto nas métricas de negócio e possíveis riscos.

Somente após uma avaliação abrangente é que se pode tomar uma decisão sobre o deploy de um novo modelo.