Bir modelin iyi mi kötü mü olduğunu nasıl anlayabiliriz? Hangi metrikler var ve bunlar ne anlama geliyor?

Modelin kalitesi değerlendirmesi, görev (sınıflandırma, regresyon vb.) ve hedeflere bağlıdır. Temel ölçütler:

Sınıflandırma görevleri için:

• Doğruluk (Accuracy) — toplam içindeki doğru tahminlerin oranı. Denge sağlanmış sınıflar için uygundur.
• Kesinlik (Precision) — tahmin edilen pozitiflerin içindeki doğru pozitiflerin oranı.
• Duyarlılık (Recall) — gerçek pozitiflerin içinden doğru bulunanların oranı.
• F1 skoru — kesinlik ve duyarlığın harmonik ortalaması, ikisi arasında denge sağlar.
• ROC-AUC — ROC eğrisinin altındaki alan, sınıfların ayrım kalitesini gösterir.

Regresyon görevleri için:

• MSE (Ortalama Kare Hatası) — büyük sapmalara duyarlı ortalama kare hata.
• MAE (Ortalama Mutlak Hata) — daha dayanıklı, uç değerlere karşı daha dirençli ortalama mutlak hata.
• R² (Belirleme Katsayısı) — modelin açıklayabildiği varyans oranını gösterir.

İyi bir model, test kümesinde (ayrılmış örnek) yüksek kalite metrikleri gösteren (örneğin, sınıflandırma için yüksek doğruluk ve F1, regresyon için düşük hatalar) ve yalnızca eğitim kümesinde değil, aşırı uyumu önlemek için, yüksek performans gösterir. Ayrıca, iş bağlamını ve metrikler arasındaki dengeyi göz önünde bulundurmak önemlidir (örneğin, bazen duyarlılık, doğruluktan daha önemli olabilir).