Quais são as práticas de rastreamento de incidentes e postmortem de modelos de ML?

As práticas de monitorização de incidentes e realização de post-mortems para modelos de ML incluem:

• Monitorização do desempenho do modelo: acompanhamento de métricas de qualidade (precisão, recall, F1, etc.) em tempo real para identificar degradações.

• Registo de dados: armazenamento de dados de entrada, previsões e contexto para análise posterior.

• Análise de causas de incidentes: identificar por que o modelo começou a funcionar pior — mudanças nos dados, deslocamento de distribuição (data drift), bugs no código.

• Post-mortems: análise detalhada de incidentes com o objetivo de identificar causas raízes, documentar lições e planear medidas para evitar repetições.

• Consideração de fairness e trust: análise de incidentes do ponto de vista da justiça do modelo, identificação e eliminação de preconceitos.

• Automatização de alertas: configuração de alertas em caso de desvios nas métricas-chave.

• Versionamento de modelos e dados: para poder reverter para versões estáveis e entender quais mudanças afetaram a qualidade.

Estas práticas ajudam a manter a fiabilidade e transparência dos sistemas ML em produção.