Quali metriche utilizzare per valutare un nuovo modello durante il rollout su un gruppo pilota?

Quando si lancia un nuovo modello in un gruppo pilota, è importante utilizzare metriche che riflettano sia la qualità del modello che il suo impatto sul business e sugli utenti. Le principali categorie di metriche:

• Qualità del modello:

  • Per classificazione: accuratezza (accuracy), recall, precisione (precision), F1-score, ROC-AUC.
  • Per regressione: errore assoluto medio (MAE), errore quadratico medio (MSE), R².

• Metriche di effetto sul business:

  • Tasso di conversione, fidelizzazione degli utenti, ricavi, coinvolgimento — a seconda del compito.

• Metriche di stabilità e affidabilità:

  • Deriva dei dati, stabilità delle previsioni nel tempo.

• Metriche di esperienza utente:

  • Tempo di risposta, errori nell’app.

Per i test pilota, si utilizza spesso il test A/B, confrontando le metriche del nuovo modello con quelle attuali. È importante monitorare non solo il miglioramento della qualità delle previsioni, ma anche l’impatto sui principali indicatori di business e sull’esperienza utente.