Comment vérifier la qualité des nouvelles fonctionnalités et hypothèses dans les modèles de risque et quelles métriques utiliser?

Pour vérifier la qualité des nouvelles fonctionnalités et hypothèses dans les modèles de risque, il est important d'utiliser une approche globale comprenant à la fois une évaluation statistique et des métriques commerciales.

Étapes principales:

1. Division des données : utiliser train/test ou validation croisée pour évaluer la capacité de généralisation du modèle.

2. Métriques de qualité du modèle:

   • AUC-ROC — pour évaluer la capacité du modèle à distinguer les classes.
   • Statistique KS — souvent utilisée dans les modèles de risque de crédit pour évaluer la séparation entre clients défaillants et non défaillants.
   • Coefficient de Gini — étroitement lié à l'AUC, utilisé pour évaluer la qualité du classement.
   • Log Loss / Score de Brier — pour évaluer la qualité des prévisions probabilistes.

3. Métriques de stabilité:

   • Indice de stabilité de la population (PSI) — pour évaluer les changements dans la distribution des caractéristiques ou des scores au fil du temps.

4. Métriques commerciales:

   • Perte en cas de défaut (LGD), Probabilité de défaut (PD), Exposition en cas de défaut (EAD) — si applicable.
   • Efficacité économique — par exemple, réduction des pertes, augmentation des bénéfices.

5. Tests A/B ou lancement pilote de nouvelles fonctionnalités pour tester des hypothèses en conditions réelles.

Exemple : si vous ajoutez une nouvelle fonctionnalité à un modèle de scoring de crédit, évaluez d'abord le changement d'AUC et de KS sur l'échantillon de test, puis vérifiez le PSI pour vous assurer que la nouvelle fonctionnalité ne provoque pas d'instabilité. Ensuite, vous pouvez effectuer un test pilote sur un petit groupe de clients et évaluer l'impact sur les métriques commerciales, telles que le taux de défaut et la rentabilité.

Ainsi, la combinaison de métriques statistiques et commerciales permet d'évaluer objectivement la qualité des nouvelles fonctionnalités et hypothèses dans les modèles de risque.