Koje metrike treba koristiti za procenu nove modela pri njegovom uvođenju u pilot grupu?

Када лансирате нови модел у пилот групу, важно је користити метрике које одражавају како квалитет модела, тако и његов утицај на пословање и кориснике. Главне категорије метрика:

• Квалитет модела:

  • За класификацију: прецизност (accuracy), recall, прецизност (precision), F1-score, ROC-AUC.
  • За регресију: просечна апсолутна грешка (MAE), просечна квадратична грешка (MSE), R².

• Метрике пословног ефекта:

  • Конверзија, задржавање корисника, приход, ангажовање — у зависности од задатка.

• Метрике стабилности и поузданости:

  • Drift података, стабилност предвиђања током времена.

• Метрике корисничког искуства:

  • Време одговора, грешке у апликацији.

За пилот тестирања често се користи A/B тестирање, поредећи метрике новог модела са тренутним. Важно је пратити не само побољшање квалитета предвиђања, већ и утицај на коначне показатеље пословања и корисничко искуство.