O que é deriva de dados?

O desvio de dados é uma mudança na distribuição ou nas características dos dados de entrada ao longo do tempo, o que pode afetar negativamente a qualidade do desempenho do modelo de aprendizagem automática.

Por exemplo, se um modelo é treinado com dados com certas propriedades, e na operação real os dados começam a mudar (por exemplo, o comportamento dos utilizadores, as condições ambientais, o formato dos dados), o modelo pode começar a funcionar pior.

Tipos de desvio de dados:

• Desvio de conceito (concept drift): a dependência entre os dados de entrada e a variável alvo muda.
• Desvio de distribuição de dados (data distribution drift): a distribuição dos dados de entrada muda sem alterar a dependência da variável alvo.

Para combater o desvio de dados, aplica-se monitorização da qualidade do modelo, registo dos dados de entrada e resultados, e re-treinamento regular do modelo com novos dados.

Exemplo: um modelo de scoring de crédito treinado com dados de clientes de 2019, mas em 2023 a situação económica mudou, e o comportamento dos clientes tornou-se diferente — isto é um desvio de dados que requer adaptação do modelo.