Jakie metryki używać do oceny nowego modelu podczas wdrażania na grupie pilotażowej?

Podczas wdrażania nowego modelu w grupie pilota, ważne jest używanie metryk odzwierciedlających zarówno jakość modelu, jak i jego wpływ na biznes i użytkowników. Główne kategorie metryk:

• Jakość modelu:

  • Dla klasyfikacji: dokładność (accuracy), recall, precision, F1-score, ROC-AUC.
  • Dla regresji: średni błąd bezwzględny (MAE), średni błąd kwadratowy (MSE), R².

• Metryki efektu biznesowego:

  • Współczynnik konwersji, retencja użytkowników, przychody, zaangażowanie — w zależności od zadania.

• Metryki stabilności i niezawodności:

  • Drift danych, stabilność prognoz w czasie.

• Metryki doświadczenia użytkownika:

  • Czas reakcji, błędy w aplikacji.

Do testów pilotażowych często stosuje się testy A/B, porównując metryki nowego modelu z obecnymi. Ważne jest, aby śledzić nie tylko poprawę jakości prognoz, ale także wpływ na końcowe wskaźniki biznesowe i doświadczenie użytkownika.