Pamatojoties uz kuriem rādītājiem var saprast, ka modelis ir degradējies?

Modeļa degradāciju var noteikt, mainoties galvenajiem kvalitātes rādītājiem jaunajos datos, salīdzinot ar apmācības vai validācijas kopu. Galvenie rādītāji:

• Precizitātes (accuracy), F1 rādītāja, AUC-ROC samazināšanās — ja šie rādītāji samazinās, modelis prognozē sliktāk.
• Kļūdas pieaugums (piemēram, MSE, MAE regresijai) — kļūdas pieaugums norāda uz kvalitātes zudumu.
• Ievades datu sadalījuma izmaiņas (data drift) — ja dati, uz kuriem darbojas modelis, būtiski atšķiras no apmācības datiem, tas var novest pie degradācijas.
• Mērķa mainīgā sadalījuma izmaiņas (concept drift) — kad mainās raksturlielumu un mērķa mainīgā saistība.

Monitorēšanai tiek izmantots regulārs metrikas salīdzinājums jaunajos datos un ievades raksturlielumu statistikas analīze. Ja tiek konstatēta degradācija, nepieciešama modeļa pārapmācīšana vai pielāgošana.