შესაძლებელია თუ არა კლასების უთანასწორობის დროს Precision-Recall გრაფიკის გამოყენება ROC AUC-ის ნაცვლად?

დიახ, ძლიერი კლასების უთანასწორობის შემთხვევაში, Precision-Recall (PR) გრაფიკი ხშირად უფრო ინფორმატიულია, ვიდრე ROC AUC.

მიზეზი ის არის, რომ ROC AUC ითვალისწინებს True Positive Rate და False Positive Rate-ის ურთიერთობას, მაგრამ უთანასწორობის დროს, დიდი რაოდენობით უარყოფითი მაგალითები შეიძლება გააფართოვოს შეფასება, რაც ROC AUC-ს ძალიან ოპტიმისტურს ხდის.

PR გრაფიკი ფოკუსირებულია Precision (სიზუსტე) და Recall (მოძებნა), რაც უკეთ ასახავს მოდელის ხარისხს იშვიათი დადებითი კლასებით სამუშაოებში.

ამიტომ, თუ დადებითი კლასი იშვიათია, PR გრაფიკი და შესაბამისი მეტрика (მაგალითად, საშუალო სიზუსტე) უკეთესად აფასებს მოდელის ხარისხს.

მაგალითი:

• თაღლითობის გამოვლენის სამუშაოში (საკმაოდ იშვიათი თაღლითური ტრანზაქციები), PR გრაფიკი აჩვენებს, რამდენად კარგად იპოვის მოდელი თაღლითიებს, ბევრი ცრუ სიგნალის გარეშე.

საჯამო:

• გამოიყენეთ ROC AUC თანაბარ კლასებსთვის.
• გამოიყენეთ Precision-Recall გრაფიკი ძლიერი უთანასწორობის დროს.