Kako proveriti kvalitet novih funkcija i hipoteza u modelima rizika i koje metrike koristiti?

Za proveru kvaliteta novih funkcija i hipoteza u rizicnim modelima, važno je koristiti sveobuhvatan pristup koji uključuje i statističke procene i poslovne metrike.

Glavni koraci:

1. Podela podataka: koristite train/test ili križnu validaciju za procenu sposobnosti modela da generalizuje.

2. Metrike kvaliteta modela:

   • AUC-ROC — za procenu sposobnosti modela da razlikuje klase.
   • KS statistika — često korišćena u kreditnim rizicima za procenu razdvajanja između klijenata u defaultu i ne.
   • Gini koeficijent — usko povezan sa AUC, koristi se za procenu kvaliteta rangiranja.
   • Log Loss / Brier Score — za procenu kvaliteta probabilističkih prognoza.

3. Metrike stabilnosti:

   • Indeks stabilnosti populacije (PSI) — za procenu promena u distribuciji karakteristika ili skorova tokom vremena.

4. Poslovne metrike:

   • Gubitak dat default (LGD), Verovatnoća defaulta (PD), Ekspozicija u defaultu (EAD) — ako je primenjivo.
   • Ekonomska efikasnost — na primer, smanjenje gubitaka, rast profita.

5. A/B testovi ili pilot pokretanje novih funkcija za proveru hipoteza u realnim uslovima.

Primer: ako dodajete novu funkciju u model kreditnog skoriranja, prvo procenite promene u AUC i KS na test skupu, zatim proverite PSI da biste bili sigurni da nova funkcija ne izaziva nestabilnost. Nakon toga, možete sprovesti pilot test na maloj grupi klijenata i proceniti uticaj na poslovne metrike, na primer, nivo defaulta i profitabilnost.

Na ovaj način, kombinacija statističkih i poslovnih metrika omogućava objektivnu procenu kvaliteta novih funkcija i hipoteza u rizicnim modelima.