¿Cómo verificar la calidad de nuevas funciones e hipótesis en modelos de riesgo y qué métricas usar?

Para verificar la calidad de nuevas funciones e hipótesis en modelos de riesgo, es importante utilizar un enfoque integral que incluya tanto evaluación estadística como métricas comerciales.

Pasos principales:

1. División de datos: usar train/test o validación cruzada para evaluar la capacidad de generalización del modelo.

2. Métricas de calidad del modelo:

   • AUC-ROC — para evaluar la capacidad del modelo para distinguir clases.
   • Estadística KS — comúnmente utilizada en modelos de riesgo crediticio para evaluar la separación entre clientes en incumplimiento y no en incumplimiento.
   • Coeficiente Gini — estrechamente relacionado con AUC, se usa para evaluar la calidad del ranking.
   • Log Loss / Puntuación de Brier — para evaluar la calidad de las predicciones probabilísticas.

3. Métricas de estabilidad:

   • Índice de Estabilidad de Población (PSI) — para evaluar cambios en la distribución de características o puntuaciones a lo largo del tiempo.

4. Métricas comerciales:

   • Pérdida Dada la Incumplimiento (LGD), Probabilidad de Incumplimiento (PD), Exposición en Incumplimiento (EAD) — si son aplicables.
   • Eficiencia económica — por ejemplo, reducción de pérdidas, aumento de beneficios.

5. Pruebas A/B o lanzamiento piloto de nuevas funciones para verificar hipótesis en condiciones reales.

Ejemplo: si añades una nueva función en un modelo de puntuación crediticia, primero evalúa el cambio en AUC y KS en el conjunto de prueba, luego verifica PSI para asegurarte de que la nueva función no provoca inestabilidad. Después, puedes realizar una prueba piloto en un grupo pequeño de clientes y evaluar el impacto en métricas comerciales, como el nivel de incumplimiento y la rentabilidad.

De esta manera, la combinación de métricas estadísticas y comerciales permite evaluar objetivamente la calidad de nuevas funciones e hipótesis en modelos de riesgo.