Quais são as abordagens para testar modelos de ML em CI?

Na CI, aplicam-se várias abordagens para testar modelos de ML, visando controlar a qualidade dos dados e a estabilidade do modelo:

• Testes unitários para componentes de processamento de dados e modelos — verificação da correção das funções de pré-processamento, treino e previsão.
• Teste de qualidade do modelo em conjuntos de dados de controlo — execução automática de avaliação de métricas (precisão, F1, AUC, etc.) sempre que há alterações no código ou nos dados.
• Monitorização de métricas e deriva de dados — verificar se a distribuição dos dados de entrada e as saídas do modelo não mudaram significativamente.
• Testes de reprodutibilidade do treino — verificar se, com os mesmos dados e parâmetros, o modelo é treinado de forma idêntica.
• Testes de integração — verificar a interação do modelo com outros componentes do sistema.

A automação destes testes na CI ajuda a identificar rapidamente regressões e problemas com a qualidade dos dados ou do modelo.