Com base em quais indicadores é possível entender que o modelo degradou?

A degradação do modelo pode ser determinada pela mudança nas métricas-chave de qualidade em novos dados em comparação com o conjunto de treino ou validação. Os principais indicadores:

• Redução de precisão (accuracy), F1-score, AUC-ROC — se essas métricas caírem, o modelo prevê pior.
• Aumento do erro (por exemplo, MSE, MAE para regressão) — aumento do erro indica perda de qualidade.
• Mudança na distribuição dos dados de entrada (data drift) — se os dados com os quais o modelo trabalha diferem muito dos de treino, isso pode levar à degradação.
• Mudança na distribuição da variável alvo (concept drift) — quando a relação entre as características e a variável alvo muda.

Para monitoramento, usa-se a comparação regular de métricas em novos dados e análise de estatísticas das características de entrada. Quando a degradação é detectada, é necessário re-treinamento ou adaptação do modelo.