Koje metrike nadzora ML modela ste postavili u produkciji?

Za nadzor ML modela u produkciji obično se podešavaju sledeće metrike:

• Tačnost (Accuracy) — udeo tačnih predviđanja.
• Preciznost i Recall — posebno važni kod neuravnoteženih klasa.
• F1-score — harmonijski srednji preciznosti i recall-a.
• ROC-AUC — kvalitet klasifikacije na različitim pragovima.
• Latencija — vreme odgovora modela.
• Throughput — broj zahteva po jedinici vremena.
• Detekcija drift-a — praćenje promena u distribuciji ulaznih podataka ili predviđanja.
• Stopa grešaka — učestalost grešaka.

Podešavanje nadzora uključuje prikupljanje ovih metrika u realnom vremenu, obaveštenja pri odklonima i vizualizaciju za analizu. Na primer, može se koristiti Prometheus i Grafana za prikupljanje i prikaz metrika, kao i alati za detekciju drift-a poput Evidently AI ili sopstveni skripti.