Jakie metryki monitorowania modeli ML w produkcji ustawiłeś?

Aby monitorować modele ML w produkcji, zwykle konfiguruje się następujące metryki:

• Dokładność (Accuracy) — odsetek poprawnych przewidywań.
• Precyzja i Recall — szczególnie ważne przy niezrównoważonych klasach.
• F1-score — harmoniczna średnia precyzji i recall.
• ROC-AUC — jakość klasyfikacji na różnych progach.
• Opóźnienie (Latency) — czas odpowiedzi modelu.
• Przepustowość (Throughput) — liczba zapytań na jednostkę czasu.
• Wykrywanie dryfu — śledzenie zmian w rozkładzie danych wejściowych lub przewidywań.
• Wskaźnik błędów — częstotliwość błędów.

Konfiguracja monitorowania obejmuje zbieranie tych metryk w czasie rzeczywistym, powiadomienia przy odchyleniach i wizualizację do analizy. Na przykład można użyć Prometheus i Grafana do zbierania i wyświetlania metryk, a także narzędzi do wykrywania dryfu, takich jak Evidently AI lub własne skrypty.