Milyen mutatók alapján lehet megállapítani, hogy a modell degradálódott?

A modell degradációját az új adatokon mért kulcsfontosságú minőségi mutatók változása alapján lehet meghatározni, összehasonlítva a tanulási vagy validációs mintával. A fő mutatók:

• Pontosság (accuracy), F1-érték, AUC-ROC csökkenése — ha ezek a mutatók csökkennek, a modell rosszabbul jósol.
• Hiba növekedése (pl. MSE, MAE regresszió esetén) — a hiba növekedése a minőségvesztést jelzi.
• Bemeneti adatok eloszlásának változása (data drift) — ha a modell által használt adatok jelentősen eltérnek a tanulási adatoktól, ez a degradációhoz vezethet.
• Célváltozó eloszlásának változása (concept drift) — amikor a jellemzők és a célváltozó közötti kapcsolat megváltozik.

A monitorozáshoz rendszeresen összehasonlítják az új adatokon mért metrikákat és elemzik a bemeneti jellemzők statisztikáit. A degradáció észlelése esetén szükség van a modell újra tanítására vagy adaptálására.