Na podstawie jakich wskaźników można zrozumieć, że model się pogorszył?

Degradacja modelu może być określona na podstawie zmiany kluczowych miar jakości na nowych danych w porównaniu z zestawem treningowym lub walidacyjnym. Główne wskaźniki:

• Spadek dokładności (accuracy), F1-score, AUC-ROC — jeśli te miary spadają, model przewiduje gorzej.
• Wzrost błędu (np. MSE, MAE dla regresji) — wzrost błędu wskazuje na utratę jakości.
• Zmiana rozkładu danych wejściowych (data drift) — jeśli dane, na których działa model, znacznie różnią się od danych treningowych, może to prowadzić do degradacji.
• Zmiana rozkładu zmiennej docelowej (concept drift) — gdy zmienia się zależność między cechami a zmienną docelową.

Do monitorowania używa się regularnego porównywania metryk na nowych danych i analizy statystyk cech wejściowych. W przypadku wykrycia degradacji konieczne jest ponowne szkolenie lub dostosowanie modelu.