Welche Metriken sollten bei der Einführung eines neuen Modells in einer Pilotgruppe verwendet werden?

Beim Einsatz eines neuen Modells in einer Pilotgruppe ist es wichtig, Metriken zu verwenden, die sowohl die Qualität des Modells als auch seine Auswirkungen auf das Geschäft und die Nutzer widerspiegeln. Die wichtigsten Kategorien von Metriken:

• Modellqualität:

  • Für Klassifikation: Genauigkeit (accuracy), Recall, Präzision (precision), F1-Score, ROC-AUC.
  • Für Regression: Mittlerer absoluter Fehler (MAE), Mittlerer quadratischer Fehler (MSE), R².

• Geschäftsbezogene Metriken:

  • Conversion-Rate, Nutzerbindung, Umsatz, Engagement — je nach Aufgabe.

• Stabilitäts- und Zuverlässigkeitsmetriken:

  • Daten-Drift, Stabilität der Vorhersagen im Zeitverlauf.

• Benutzererfahrung:

  • Antwortzeit, Fehler in der Anwendung.

Für Pilotversuche wird oft A/B-Testing verwendet, bei dem die Metriken des neuen Modells mit den aktuellen verglichen werden. Es ist wichtig, nicht nur die Verbesserung der Vorhersagequalität zu verfolgen, sondern auch die Auswirkungen auf die Endkennzahlen des Geschäfts und die Nutzererfahrung.