Hoe controleer je de kwaliteit van nieuwe functies en hypotheses in risicomodellen en welke metrics gebruik je?

Om de kwaliteit van nieuwe functies en hypothesen in risicomodellen te controleren, is het belangrijk een holistische aanpak te gebruiken die zowel statistische evaluaties als zakelijke metrics omvat.

Belangrijke stappen:

1. Gegevensdeling: gebruik train/test of cross-validatie om de generaliseerbaarheid van het model te beoordelen.

2. Modelkwaliteitsmetingen:

   • AUC-ROC — om het vermogen van het model om klassen te onderscheiden te beoordelen.
   • KS-statistiek — vaak gebruikt in kredietrisicomodellen om de scheiding tussen wanbetalende en niet-wanbetalende klanten te evalueren.
   • Gini-coëfficiënt — nauw verwant aan AUC, gebruikt om de rangschikkingskwaliteit te beoordelen.
   • Log Loss / Brier Score — om de kwaliteit van probabilistische voorspellingen te beoordelen.

3. Stabiliteitsmetingen:

   • Population Stability Index (PSI) — om veranderingen in de verdeling van kenmerken of scores in de loop van de tijd te evalueren.

4. Zakelijke metrics:

   • Loss Given Default (LGD), Probability of Default (PD), Exposure at Default (EAD) — indien van toepassing.
   • Economische efficiëntie — bijvoorbeeld vermindering van verliezen, winstgroei.

5. A/B-testen of pilotuitrol van nieuwe functies om hypotheses in de praktijk te testen.

Voorbeeld: als je een nieuwe functie toevoegt aan een kredietscoremodel, evalueer eerst de verandering in AUC en KS op de testset, controleer vervolgens PSI om te verzekeren dat de nieuwe functie geen instabiliteit veroorzaakt. Daarna kun je een pilot uitvoeren op een kleine groep klanten en de impact op zakelijke metrics beoordelen, zoals het wanbetalingspercentage en de winstgevendheid.

Door deze aanpak wordt de objectieve beoordeling van de kwaliteit van nieuwe functies en hypotheses in risicomodellen mogelijk door een combinatie van statistische en zakelijke metrics.