Aké metriky použiť na hodnotenie novej modelu pri nasadení na pilotnú skupinu?

Pri uvádzaní nového modelu do pilotnej skupiny je dôležité používať metriky, ktoré odrážajú ako kvalitu modelu, tak jeho vplyv na podnikanie a používateľov. Hlavné kategórie metrík:

• Kvalita modelu:

  • Pre klasifikáciu: presnosť (accuracy), recall, precíznosť (precision), F1-score, ROC-AUC.
  • Pre regresiu: priemerná absolútna chyba (MAE), priemerná štvorcová chyba (MSE), R².

• Metódy merania obchodného efektu:

  • Konverzný pomer, udržanie používateľov, príjmy, zapojenie — v závislosti od úlohy.

• Metriky stability a spoľahlivosti:

  • Drift dát, stabilita predpovedí v čase.

• Metódy merania používateľskej skúsenosti:

  • Čas odozvy, chyby v aplikácii.

Pre pilotné testy sa často používa A/B testovanie, ktoré porovnáva metriky nového modelu s aktuálnymi. Je dôležité sledovať nielen zlepšenie kvality predpovedí, ale aj vplyv na konečné ukazovatele podnikania a používateľskú skúsenosť.