Modelin yaxşı və ya pis olduğunu necə başa düşmək olar? Hansı metriklər mövcuddur və onlar nə anlama gəlir?

Modelin keyfiyyətinin qiymətləndirilməsi vəzifədən (sinifləndirmə, regresiya və s.) və məqsədlərdən asılıdır. Əsas metriklər:

Sinifləndirmə vəzifələri üçün:

• Dəqiqlik (Accuracy) — ümumi proqnozların düzgünlüyünün nisbəti. Tarazlı siniflər üçün uyğundur.
• Dəqiqlik (Precision) — proqnoz edilən müsbətlərin içində düzgün müsbətlərin nisbəti.
• Yadda saxla (Recall) — həqiqi müsbətlərin içində düzgün tapılanların nisbəti.
• F1-score — dəqiqlik və yadda saxlamanın harmonik ortası, hər ikisini balanslaşdırır.
• ROC-AUC — ROC əyrisinin sahəsi, siniflərin ayırma keyfiyyətini göstərir.

Regressiya vəzifələri üçün:

• MSE (Orta Kvadrat Xəta) — böyük sapmalara həssas.
• MAE (Orta Absolut Xəta) — daha dayanıqlı, çıxıntılara qarşı davamlı.
• R² (Təyin etmə əmsalı) — modelin izah etdiyi dispersiyanın nisbətini göstərir.

Yaxşı model, test dəstində (sınaq nümunəsində) keyfiyyət metriklərinin yüksək dəyərlərini göstərən və yalnız öyrənmə dəstində deyil, həm də, artıq öyrənmənin qarşısını almaq üçün, yüksək nəticələr göstərən. Həmçinin, biznes kontekstini və metriklər arasında balansı nəzərə almaq vacibdir (məsələn, bəzən, yadda saxlamanın əhəmiyyəti dəqiqlikdən üstün ola bilər).