Milyen ML-modell monitoring metrikákat állított be a termelésben?

Az ML-modellek termelésbeli monitorozásához általában a következő metrikákat állítják be:

• Pontosság (Accuracy) — helyes előrejelzések aránya.
• Precision és Recall — különösen kiegyensúlyozatlan osztályok esetén fontos.
• F1-score — a precision és recall harmonikus átlaga.
• ROC-AUC — a különböző küszöbértékeken történő osztályozás minősége.
• Késleltetés (Latency) — a modell válaszideje.
• Átviteli sebesség (Throughput) — kérések száma egységnyi idő alatt.
• Drift detektálás — a bemeneti adatok vagy előrejelzések eloszlásának változásainak nyomon követése.
• Hiba arány — a hibák gyakorisága.

A monitorozás beállítása magában foglalja ezeknek a metrikáknak a valós idejű gyűjtését, eltérések esetén értesítéseket és vizualizációt az elemzéshez. Például a Prometheus és Grafana használható a metrikák gyűjtésére és megjelenítésére, valamint drift detektálására szolgáló eszközök, mint az Evidently AI vagy saját szkriptek alkalmazhatók.