რა არის PR-AUC vs ROC-AUC ექსტრემალურ დისბალანსზე?

PR-AUC (პრეციზიის-შესახებობის ფართობი ქვევით) და ROC-AUC (Receiver Operating Characteristic-ის ფართობი ქვევით) არის ბაინარული კლასიფიკაციის ხარისხის მეტრიკები, მაგრამ ისინი განსხვავებულად რეაგირებენ კლასების დისბალანსზე.

მძიმე დისბალანსის (როდესაც დადებითი კლასი ძალიან იშვიათია) შემთხვევაში, PR-AUC ხშირად უფრო ინფორმატიულია, რადგან ის ფოკუსირებულია დადებითი კლასის სიზუსტეზე (precision) და recall-ზე. ROC-AUC ითვალისწინებს ნამდვილ დადებით და მცდარ დადებით შედეგებს, მაგრამ ძლიერი დისბალანსის დროს მცდარი დადებითი შეცდომები შეიძლება ნაკლებად მნიშვნელოვანი იყოს, რაც იწვევს მოდელის ხარისხის გადამეტებულ შეფასებას.

მაგალითი:

• ანომალიების გამოვლენის ამოცანაში (შედარებით იშვიათი დადებითი შემთხვევები), PR-AUC აჩვენებს, რამდენად კარგად იპოვის მოდელი ამ იშვიათ შემთხვევებს მცდარი სიგნალების გარეშე.
• ROC-AUC შეიძლება იყოს მაღალი, მიუხედავად ცუდი ანომალიების გამოვლენისა, თუ მოდელი კარგად იცნობს უარყოფით კლასს.

ამიტომ, მძიმე დისბალანსის დროს რეკომენდირებულია PR-AUC-ის გამოყენება უფრო რეალისტური შეფასებისთვის.