Wie überprüft man die Qualität neuer Funktionen und Hypothesen in Risikomodellen und welche Metriken verwendet man?

Um die Qualität neuer Funktionen und Hypothesen in Risikomodellen zu überprüfen, ist es wichtig, einen ganzheitlichen Ansatz zu verwenden, der sowohl statistische Bewertungen als auch Geschäftsmetriken umfasst.

Hauptschritte:

1. Datenaufteilung: Verwenden Sie train/test oder Kreuzvalidierung, um die Generalisierungsfähigkeit des Modells zu bewerten.

2. Qualitätsmetriken des Modells:

   • AUC-ROC — zur Bewertung der Fähigkeit des Modells, Klassen zu unterscheiden.
   • KS-Statistik — wird häufig in Kreditrisikomodellen verwendet, um die Trennung zwischen defaulter und non-defaulter Kunden zu bewerten.
   • Gini-Koeffizient — eng mit AUC verbunden, wird zur Bewertung der Rangordnungsqualität verwendet.
   • Log Loss / Brier-Score — zur Bewertung der Qualität probabilistischer Vorhersagen.

3. Stabilitätsmetriken:

   • Population Stability Index (PSI) — zur Bewertung von Änderungen in der Verteilung von Merkmalen oder Scores im Zeitverlauf.

4. Geschäftsmetriken:

   • Loss Given Default (LGD), Probability of Default (PD), Exposure at Default (EAD) — falls anwendbar.
   • Wirtschaftliche Effizienz — z.B. Reduzierung von Verlusten, Gewinnsteigerung.

5. A/B-Tests oder Pilotversuche neuer Funktionen, um Hypothesen unter realen Bedingungen zu testen.

Beispiel: Wenn Sie eine neue Funktion in ein Kredit-Scoring-Modell integrieren, bewerten Sie zunächst die Änderungen bei AUC und KS im Testdatensatz, dann überprüfen Sie den PSI, um sicherzustellen, dass die neue Funktion keine Instabilität verursacht. Anschließend können Sie einen Pilotversuch mit einer kleinen Kundengruppe durchführen und die Auswirkungen auf Geschäftsmetriken wie Ausfallraten und Rentabilität bewerten.