Може ли да се използва кривата Precision-Recall вместо ROC AUC при дисбаланс на класовете?

Да, при силен дисбаланс на класовете, кривата Precision-Recall (PR) често е по-информативна от ROC AUC.

Причината е, че ROC AUC взема предвид съотношението между True Positive Rate и False Positive Rate, но при дисбаланс голям брой отрицателни примери може да изкриви оценката, правейки ROC AUC твърде оптимистична.

Кривата PR се фокусира върху Precision (точност) и Recall (пълнота), което по-добре отразява качеството на модела при редки положителни класове.

Следователно, ако положителният клас е рядък, кривата PR и съответната метрика (например, Средна точност) дават по-адекватна оценка на качеството на модела.

Пример:

• В задача за откриване на измами (редки измамни транзакции), кривата PR ще покаже колко добре моделът намира измамници без много фалшиви аларми.

Обобщение:

• Използвайте ROC AUC за балансирани класове.
• Използвайте кривата Precision-Recall при силен дисбаланс на класовете.