Kuras ML modeļu uzraudzības metriku esat iestatījis ražošanā?

Parasti ML modeļu uzraudzībai ražošanā tiek konfigurētas šādas metriku:

• Precizitāte (Accuracy) — pareģojumu pareizības daļa.
• Precizitāte un Recall — īpaši svarīgi nelīdzsvarotās klasēs.
• F1-score — harmoniska precizitātes un recall vidējā vērtība.
• ROC-AUC — klasifikācijas kvalitāte dažādos sliekšņos.
• Latentums (Latency) — modeļa atbildes laiks.
• Throughput — pieprasījumu skaits vienā laika vienībā.
• Dreifa detekcija (Drift detection) — novērošana, kā mainās ievades datu vai prognožu sadalījums.
• Kļūdu biežums (Error rate) — kļūdu biežums.

Šo metriku reāllaikā apkopošana, brīdinājumi par novirzēm un vizualizācija analīzei ir ierasta prakse. Piemēram, var izmantot Prometheus un Grafana šo metriku apkopošanai un attēlošanai, kā arī rīkus dreifa noteikšanai, piemēram, Evidently AI vai paša skripti.