Aké metriky sledovania ML modelov v produkcii ste nastavili?

Na sledovanie ML modelov v produkcii sa zvyčajne nastavujú nasledujúce metriky:

• Presnosť (Accuracy) — podiel správnych predpovedí.
• Preciznosť a Recall — obzvlášť dôležité pri nevyvážených triedach.
• F1-score — harmonický priemer preciznosti a recallu.
• ROC-AUC — kvalita klasifikácie pri rôznych prahových hodnotách.
• Latencia — čas odozvy modelu.
• Throughput — počet požiadaviek za jednotku času.
• Detekcia driftu — sledovanie zmien v rozdelení vstupných dát alebo predpovedí.
• Chybovosť — frekvencia chýb.

Nastavenie monitorovania zahŕňa zber týchto metrík v reálnom čase, upozornenia pri odchýlkach a vizualizáciu na analýzu. Napríklad, možno použiť Prometheus a Grafana na zber a zobrazenie metrík, ako aj nástroje na detekciu driftu, ako Evidently AI alebo vlastné skripty.