Jaké metriky je třeba použít k hodnocení nového modelu při nasazení na pilotní skupinu?

Při zavádění nového modelu do pilotní skupiny je důležité používat metriky, které odrážejí jak kvalitu modelu, tak jeho dopad na podnikání a uživatele. Hlavní kategorie metrik:

• Kvalita modelu:

  • Pro klasifikaci: přesnost (accuracy), recall, preciznost (precision), F1-score, ROC-AUC.
  • Pro regresi: průměrná absolutní chyba (MAE), průměrná kvadratická chyba (MSE), R².

• Metody měření obchodního efektu:

  • Konverzní poměr, udržení uživatelů, příjmy, zapojení — v závislosti na úkolu.

• Metriky stability a spolehlivosti:

  • Drift dat, stabilita předpovědí v čase.

• Metody měření uživatelské zkušenosti:

  • Doba odezvy, chyby v aplikaci.

Pro pilotní testování se často používá A/B testování, které porovnává metriky nového modelu s aktuálními. Je důležité sledovat nejen zlepšení kvality předpovědí, ale i dopad na konečné ukazatele podnikání a uživatelskou zkušenost.