Quais são os problemas nos testes A/B de modelos de ML (loop de feedback de dados de treino)?

Ao realizar testes A/B de modelos de ML, um dos problemas principais é o ciclo de feedback, quando os dados coletados após a implementação do modelo influenciam o treinamento subsequente e podem distorcer os resultados. Isso acontece se o modelo influencia o comportamento dos usuários, e os novos dados coletados considerando esse comportamento são usados para re-treinar o modelo.

Principais problemas:

• Viés de dados: o modelo pode amplificar seus próprios erros, pois os novos dados não são independentes.
• Perda de diversidade de dados: o modelo vê apenas um certo segmento do comportamento do usuário.
• Dificuldade em avaliar a eficácia real do modelo, pois os dados dependem de versões anteriores do modelo.

Para resolver isso, utilizam-se métodos de isolamento de dados, grupos de controle, bem como reavaliações periódicas e atualizações de dados sem influência do modelo.