Как оценить качество модели по ROC AUC и что значит плохой и хороший скор?

ROC AUC (Area Under the Receiver Operating Characteristic Curve) — это метрика качества бинарной классификации, которая измеряет способность модели различать классы.

• ROC-кривая строится по значениям True Positive Rate (чувствительность) и False Positive Rate (1 - специфичность) при разных порогах классификации.
• AUC — площадь под ROC-кривой, принимает значения от 0 до 1.

Интерпретация ROC AUC:

• 0.5 — модель не лучше случайного угадывания.
• 0.7–0.8 — приемлемое качество.
• 0.8–0.9 — хорошее качество.
• 0.9 и выше — отличное качество.

Если AUC близко к 1, модель хорошо разделяет классы. Если близко к 0.5 — модель неэффективна. Значение ниже 0.5 говорит о том, что модель ошибается чаще, чем случайная, и, возможно, стоит инвертировать предсказания.

Пример: если модель предсказывает вероятность заболевания, ROC AUC покажет, насколько хорошо она отличает больных от здоровых при разных порогах решения.

Таким образом, ROC AUC — удобный способ оценить качество модели независимо от выбранного порога классификации.