Какви метрики за мониторинг на ML модели в продукция сте настроили?

За мониторинг на ML модели в продукция обикновено се настройват следните метрики:

• Точност (Accuracy) — делът на правилните предсказания.
• Precision и Recall — особено важни при несбалансирани класове.
• F1-score — хармонично средно на precision и recall.
• ROC-AUC — качество на класификацията при различни прагове.
• Latency — време за реакция на модела.
• Throughput — брой заявки за единица време.
• Детекция на drift — проследяване на промени в разпределението на входните данни или предсказания.
• Грешка (Error rate) — честота на грешки.

Настройката на мониторинга включва събиране на тези метрики в реално време, известия при отклонения и визуализация за анализ. Например, може да се използва Prometheus и Grafana за събиране и показване на метриките, както и инструменти за детекция на дрейф като Evidently AI или собствени скриптове.