Ce metrici de monitorizare a modelelor ML în producție ați configurat?

Pentru monitorizarea modelelor ML în producție, de obicei se configurează următoarele metrici:

• Acuratețea (Accuracy) — proporția de predicții corecte.
• Precizie și Recall — deosebit de importante în cazul claselor dezechilibrate.
• F1-score — media armonică a preciziei și recall-ului.
• ROC-AUC — calitatea clasificării la diferite praguri.
• Latență — timpul de răspuns al modelului.
• Throughput — numărul de solicitări pe unitate de timp.
• Detecția de drift — monitorizarea schimbărilor în distribuția datelor de intrare sau a predicțiilor.
• Rata de eroare — frecvența erorilor.

Configurarea monitorizării include colectarea acestor metrici în timp real, alerte în caz de abateri și vizualizare pentru analiză. De exemplu, se pot folosi Prometheus și Grafana pentru colectare și afișare, precum și instrumente pentru detectarea driftului, cum ar fi Evidently AI sau scripturi proprii.