İstehsalda ML modellərinin monitorinq metriklərini hansı şəkildə qurmusunuz?

ML modellərinin istehsatda monitorinqi üçün adətən aşağıdakı metriklər qurulur:

• Dəqiqlik (Accuracy) — düzgün proqnozların nisbəti.
• Precision və Recall — xüsusilə balanssız sinflərdə vacibdir.
• F1-score — precision və recall-un harmonik ortası.
• ROC-AUC — müxtəlif eşiklərdə təsnifat keyfiyyəti.
• Gecikmə (Latency) — modelin cavab vaxtı.
• Throughput — bir vahid zamanda edilən sorğuların sayı.
• Dönüşüm aşkarlanması (Drift detection) — giriş məlumatlarının və ya proqnozların paylanmasında dəyişikliklərin izlənməsi.
• Xəta nisbəti (Error rate) — xətaların tezliyi.

Bu metriklərin real vaxtda toplanması, sapmalar zamanı xəbərdarlıqlar və analiz üçün vizuallaşdırma daxildir. Məsələn, Prometheus və Grafana istifadə edilə bilər, həmçinin Evidently AI və ya öz skriptləriniz kimi drift aşkarlama alətləri istifadə oluna bilər.