¿Qué métricas utilizar para evaluar un nuevo modelo al implementarlo en un grupo piloto?

Al lanzar un nuevo modelo al grupo piloto, es importante utilizar métricas que reflejen tanto la calidad del modelo como su impacto en el negocio y los usuarios. Las principales categorías de métricas:

• Calidad del modelo:

  • Para clasificación: precisión (accuracy), recall, precisión (precision), puntuación F1, ROC-AUC.
  • Para regresión: error absoluto medio (MAE), error cuadrático medio (MSE), R².

• Métricas de efecto en el negocio:

  • Tasa de conversión, retención de usuarios, ingresos, compromiso — dependiendo de la tarea.

• Métricas de estabilidad y fiabilidad:

  • Deriva de datos, estabilidad de las predicciones en el tiempo.

• Métricas de experiencia del usuario:

  • Tiempo de respuesta, errores en la aplicación.

Para pruebas piloto, a menudo se utiliza la prueba A/B, comparando las métricas del nuevo modelo con las actuales. Es importante no solo seguir la mejora en la calidad de las predicciones, sino también su impacto en los indicadores finales del negocio y la experiencia del usuario.