როგორ გავიგოთ, რომ მოდელი კარგი ან ცუდია? რა მეტრიკები არსებობს და რა მნიშვნელობა აქვთ?

მოდელის ხარისხის შეფასება დამოკიდებულია დავალებაზე (კლასიფიკაცია, რეგრესია და ა.შ.) და მიზნებზე. ძირითადი მახასიათებლები:

კლასიფიკაციის დავალებებისთვის:

• სიზუსტე (Accuracy) — სწორი წინასწარმეტყველებების წილი საერთო რაოდენობის მიმართ. კარგად არის შესაბამისი ბალანსირებულ კლასებს.
• სიზუსტე (Precision) — სწორი დადებითი პროგნოზების წილი ყველა პროგნოზირებულ დადებითში.
• მოძებნა (Recall) — სწორი აღმოჩენილი დადებითი წილი ყველა რეალურ დადებითში.
• F1-შკალა — სიზუსტისა და მოძებნის ჰარმონიული საშუალო, რომელიც ორივეს აძლიერებს.
• ROC-AUC — ROC გრაფიკის ტერიტორია, რომელიც აჩვენებს კლასების განყოფილების ხარისხს.

რეგრესიის დავალებებისთვის:

• MSE (საშუალო კვადრატული შეცდომა) — მგრძნობიარე დიდ გადახრებს.
• MAE (საშუალო აბსოლუტური შეცდომა) — უფრო მდგრადია გამონაკლისების მიმართ.
• R² (განმარტების კოეფიციენტი) — აჩვენებს, რამდენი ნაწილით ახსნილია მოდელით.

სწორი მოდელი არის ის, რომელიც აჩვენებს მაღალი მნიშვნელობებს ხარისხის მეტრიკებში (მაგ., მაღალი სიზუსტე და F1 კლასიფიკაციისთვის, დაბალი შეცდომები რეგრესიისთვის) ტესტის ნაკრებზე, და არა მხოლოდ ტრენინგის ნაკრებზე (გადამზადების თავიდან აცილების მიზნით). ასევე მნიშვნელოვანია ბიზნეს კონტექსტის და მეტრიკების შორის ბალანსის გათვალისწინება (მაგ., ზოგჯერ უფრო მნიშვნელოვანია მოძებნა, ვიდრე სიზუსტე).