Kokias ML modelių stebėjimo metrikas nustatėte gamyboje?

Įprastai stebint ML modelius gamyboje, nustatomos šios metrikos:

• Tikslumas (Accuracy) — teisingų prognozių dalis.
• Precision ir Recall — ypač svarbūs nesubalansuotoms klasėms.
• F1-score — harmoninis precizijos ir recall vidurkis.
• ROC-AUC — klasifikacijos kokybė skirtinguose slenksčiuose.
• Vėlavimas (Latency) — modelio atsako laikas.
• Pralaidumas (Throughput) — užklausų skaičius per laiko vienetą.
• Dreifo aptikimas (Drift detection) — stebėjimas, kaip keičiasi įvesties duomenų ar prognozių paskirstymas.
• Klaidos dažnis (Error rate) — klaidų dažnumas.

Šių metrikų surinkimas realiu laiku, įspėjimai apie nukrypimus ir vizualizacija analizei yra įprasta. Pavyzdžiui, galima naudoti Prometheus ir Grafana metrikų rinkimui ir rodymui, taip pat įrankius driftui aptikti, kaip Evidently AI ar savos skriptai.