Оё мумкин аст, ки дар ҳолати нобаробарии синфҳо, графикии Precision-Recall ба ҷои ROC AUC истифода шавад?

Бале, дар ҳолатҳои нобаробарии шадиди синфҳо, хатти Precision-Recall (PR) одатан нисбат ба ROC AUC маълумотноктар аст.

Сабаб ин аст, ки ROC AUC нисбат байни True Positive Rate ва False Positive Rate-ро ба назар мегирад, аммо дар нобаробарӣ, шумораи зиёди намунаҳои манфӣ арзёбиро вайрон мекунанд ва ROC AUC-ро хеле оптимистӣ мекунанд.

Хати PR ба Precision (дақиқӣ) ва Recall (хотирсозӣ) тамаркуз мекунад, ки сифати моделиро дар вазифаҳои бо синфҳои мусбат камтар ё камтар ёфтшуда беҳтар инъикос мекунад.

Аз ин рӯ, агар синфи мусбат кам ёфтшуда бошад, хати PR ва метрикаи мувофиқ (масалан, Дараҷаи миёнаи дақиқӣ) арзёбии беҳтарро барои сифати модели пешниҳод мекунанд.

Масалан:

• Дар вазифаи ошкор кардани қаллобӣ (амалиётҳои қаллобона кам), хати PR нишон медиҳад, ки модел чӣ қадар хуб қаллобонро пайдо мекунад, бе зиёда аз ҳушдорҳои бардурӯғ.

Хулоса:

• ROC AUC-ро барои синфҳои баробар истифода баред.
• Дар ҳолатҳои нобаробарии шадиди синфҳо, аз хати Precision-Recall истифода баред.