Как да проверяваме качеството на новите функции и хипотези в модели за риск и кои метрики да използваме?

За да проверите качеството на новите функции и хипотези в моделите за риск, е важно да използвате цялостен подход, който включва както статистически оценки, така и бизнес метрики.

Основни стъпки:

1. Разделяне на данните: използвайте train/test или кръстосана валидация, за да оцените способността на модела да обобщава.

2. Метрични показатели за качество на модела:

   • AUC-ROC — за оценка на способността на модела да различава класовете.
   • KS-статистика — често използвана в модели за кредитен риск за оценка на разделянето между клиентите в дефолт и без дефолт.
   • Gini коефициент — тясно свързан с AUC, използва се за оценка на качеството на ранжиране.
   • Log Loss / Brier Score — за оценка на качеството на вероятностните прогнози.

3. Метрични показатели за стабилност:

   • Индекс на стабилност на популацията (PSI) — за оценка на промените в разпределението на характеристиките или скорингите във времето.

4. Бизнес метрики:

   • Загуба при дефолт (LGD), вероятност за дефолт (PD), експозиция при дефолт (EAD) — ако е приложимо.
   • Икономическа ефективност — например намаляване на загубите, увеличение на печалбата.

5. A/B тестове или пилотни стартирания на нови функции за проверка на хипотези в реални условия.

Пример: ако добавяте нова функция към модел за кредитен скоринг, първо оценете промените в AUC и KS на тестовия набор, след това проверете PSI, за да се уверите, че новата функция не води до нестабилност. След това може да проведете пилотен тест на малка група клиенти и да оцените влиянието върху бизнес метриките, като ниво на дефолт и рентабилност.

По този начин съчетанието на статистически и бизнес метрики позволява обективно оценяване на качеството на новите функции и хипотези в моделите за риск.