Como verificar a qualidade de novas funcionalidades e hipóteses em modelos de risco e quais métricas usar?

Para verificar a qualidade de novas funcionalidades e hipóteses em modelos de risco, é importante usar uma abordagem abrangente que inclua avaliação estatística e métricas de negócio.

Principais passos:

1. Divisão de dados: usar train/test ou validação cruzada para avaliar a capacidade de generalização do modelo.

2. Métricas de qualidade do modelo:

   • AUC-ROC — para avaliar a capacidade do modelo de distinguir classes.
   • Estatística KS — frequentemente usada em modelos de risco de crédito para avaliar a separação entre clientes inadimplentes e não inadimplentes.
   • Coeficiente Gini — estreitamente relacionado com AUC, usado para avaliar a qualidade do ranking.
   • Log Loss / Score de Brier — para avaliar a qualidade das previsões probabilísticas.

3. Métricas de estabilidade:

   • Índice de Estabilidade de População (PSI) — para avaliar mudanças na distribuição de características ou pontuações ao longo do tempo.

4. Métricas de negócio:

   • Perda Dada a Inadimplência (LGD), Probabilidade de Inadimplência (PD), Exposição em Inadimplência (EAD) — se aplicável.
   • Eficiência económica — por exemplo, redução de perdas, aumento de lucros.

5. Testes A/B ou lançamento piloto de novas funcionalidades para verificar hipóteses em condições reais.

Exemplo: se adicionar uma nova funcionalidade ao modelo de pontuação de crédito, primeiro avalie a mudança no AUC e KS na amostra de teste, depois verifique o PSI para garantir que a nova funcionalidade não provoca instabilidade. Depois, pode realizar um teste piloto num pequeno grupo de clientes e avaliar o impacto nas métricas de negócio, como o nível de inadimplência e rentabilidade.

Dessa forma, a combinação de métricas estatísticas e de negócio permite avaliar objetivamente a qualidade de novas funcionalidades e hipóteses em modelos de risco.