Miks ROC AUC ei sõltu lõikepunktist, kuid Precision sõltub?

ROC AUC (Area Under the Receiver Operating Characteristic Curve) измеряет качество классификатора по всей области возможных порогов отсечения. Он строится на основе всех пар значений True Positive Rate (TPR) и False Positive Rate (FPR) при изменении порога. Поэтому ROC AUC не зависит от конкретного выбранного порога — он агрегирует производительность модели на всех порогах.

В отличие от этого, Precision (точность) — это отношение истинно положительных результатов к сумме истинно положительных и ложноположительных, и она вычисляется для конкретного порога классификации. При изменении порога меняется количество положительных предсказаний, а значит, меняется и Precision.

Иными словами:

• ROC AUC — интегральная метрика, учитывающая все пороги, отражает общую способность модели различать классы.
• Precision — локальная метрика, зависящая от выбранного порога, отражает качество положительных предсказаний именно при этом пороге.

Это объясняет, почему ROC AUC стабильна относительно порога, а Precision — нет.