Como detectar o momento da mudança na distribuição de dados (deriva de dados)?

O desvio de dados é uma alteração na distribuição dos dados de entrada ou da variável alvo ao longo do tempo, o que pode deteriorar a qualidade do modelo. Para detectar o momento da mudança de distribuição, aplicam-se as seguintes abordagens:

• Monitorização de estatísticas de dados: calcular e comparar regularmente as estatísticas (média, variância, histogramas) dos dados atuais com os históricos.
• Métricas de distância entre distribuições: usar medidas como a divergência de Kullback-Leibler, divergência de Jensen-Shannon, teste de Kolmogorov-Smirnov, para avaliar quantitativamente as mudanças.
• Algoritmos especializados de deteção de desvio: por exemplo, ADWIN, DDM, EDDM, que alertam automaticamente sobre mudanças na distribuição.
• Registo e visualização: guardar dados e métricas ao longo do tempo, criar gráficos para acompanhamento visual das mudanças.
• Monitorização do desempenho do modelo: a queda em métricas de qualidade (precisão, F1, etc.) pode indicar desvio.

Exemplo de uso do teste de Kolmogorov-Smirnov em Python para verificar desvio:

from scipy.stats import ks_2samp

# historical_data e current_data são arrays de valores da característica
statistic, p_value = ks_2samp(historical_data, current_data)
if p_value < 0.05:
    print("Desvio de dados detectado")
else:
    print("Nenhum desvio detectado")

Assim, é importante configurar uma monitorização regular dos dados e métricas do modelo para reagir oportunamente aos desvios.