Ako overiť kvalitu nových funkcií a hypotéz v rizikových modeloch a aké metriky použiť?

Na overenie kvality nových funkcií a hypotéz v rizikových modeloch je dôležité použiť komplexný prístup, ktorý zahŕňa ako štatistické hodnotenia, tak aj obchodné metriky.

Hlavné kroky:

1. Rozdelenie dát: použite train/test alebo krížovú validáciu na posúdenie schopnosti modelu generalizovať.

2. Metriky kvality modelu:

   • AUC-ROC — na hodnotenie schopnosti modelu rozlišovať triedy.
   • KS štatistika — často používaná v modeloch kreditného rizika na hodnotenie oddelenia medzi klientmi v defaulte a mimo default.
   • Gini koeficient — úzko súvisí s AUC, používa sa na hodnotenie kvality radenia.
   • Log Loss / Brier Score — na hodnotenie kvality pravdepodobnostných predpovedí.

3. Metriky stability:

   • Index stability populácie (PSI) — na hodnotenie zmien v rozdelení znakov alebo skóre v čase.

4. Obchodné metriky:

   • Strata pri defaulte (LGD), pravdepodobnosť defaultu (PD), expozícia pri defaulte (EAD) — ak je to relevantné.
   • Ekonomická efektívnosť — napríklad zníženie strát, zvýšenie zisku.

5. A/B testy alebo pilotné nasadenie nových funkcií na overenie hypotéz v reálnych podmienkach.

Príklad: ak pridávate novú funkciu do modelu kreditného skórovania, najskôr vyhodnoťte zmeny v AUC a KS na testovacej sade, potom skontrolujte PSI, aby ste sa uistili, že nová funkcia nespôsobuje nestabilitu. Následne môžete vykonať pilotný test na malej skupine klientov a vyhodnotiť vplyv na obchodné metriky, ako je miera defaultu a ziskovosť.

Takto kombinácia štatistických a obchodných metrík umožňuje objektívne hodnotenie kvality nových funkcií a hypotéz v rizikových modeloch.