Jak ověřit kvalitu nových funkcí a hypotéz v rizikových modelech a jaké metriky používat?

Pro kontrolu kvality nových funkcí a hypotéz v rizikových modelech je důležité použít komplexní přístup, který zahrnuje jak statistické hodnocení, tak obchodní metriky.

Hlavní kroky:

1. Rozdělení dat: použijte train/test nebo křížovou validaci k posouzení schopnosti modelu generalizovat.

2. Metriky kvality modelu:

   • AUC-ROC — k hodnocení schopnosti modelu rozlišovat třídy.
   • KS statistika — často používaná v modelech kreditního rizika k hodnocení oddělení mezi klienty v defaultu a mimo default.
   • Gini koeficient — úzce souvisí s AUC, používá se k hodnocení kvality řazení.
   • Log Loss / Brier Score — k hodnocení kvality pravděpodobnostních předpovědí.

3. Metriky stability:

   • Index stability populace (PSI) — k hodnocení změn v rozdělení znaků nebo skóre v čase.

4. Obchodní metriky:

   • Ztráta při defaultu (LGD), pravděpodobnost defaultu (PD), expozice při defaultu (EAD) — pokud je to relevantní.
   • Ekonomická efektivita — například snížení ztrát, zvýšení zisku.

5. A/B testování nebo pilotní nasazení nových funkcí k ověření hypotéz v reálných podmínkách.

Příklad: pokud přidáváte novou funkci do modelu kreditního skórování, nejprve vyhodnoťte změny v AUC a KS na testovací sadě, poté zkontrolujte PSI, aby nedošlo ke stabilitní poruše. Následně můžete provést pilotní test na malé skupině klientů a vyhodnotit dopad na obchodní metriky, například úroveň defaultu a ziskovost.

Tímto způsobem kombinace statistických a obchodních metrik umožňuje objektivně hodnotit kvalitu nových funkcí a hypotéz v rizikových modelech.