Milliseid ML-mudelite jälgimise mõõdikuid olete tootmises seadistanud?

Tavaliselt seadistatakse ML mudelite jälgimiseks tootmises järgmised mõõdikud:

• Täpsus (Accuracy) — õigeid prognoose osakaal.
• Precison ja Recall — eriti olulised ebavõrdses klassis.
• F1-score — harmooniline keskmine precison ja recall.
• ROC-AUC — klassifikatsiooni kvaliteet erinevatel lävesteel.
• Latentsus (Latency) — mudeli reageerimisaeg.
• Throughput — päringute arv ajaühikus.
• Dreifide tuvastamine (Drift detection) — sisendandmete või prognooside jaotuse muutuste jälgimine.
• Vigade määr (Error rate) — vigade sagedus.

Seda mõõdikute kogumist reaalajas, kõrvalekallete korral teavitusi ja analüüsiks visualiseerimist peetakse tavapäraseks. Näiteks saab kasutada Prometheus ja Grafana mõõdikute kogumiseks ja kuvamiseks ning driftide tuvastamiseks tööriistu nagu Evidently AI või oma skripte.