Perché ROC AUC non dipende dalla soglia di taglio, ma la Precision sì?

L’area sotto la curva ROC (Area Under the Receiver Operating Characteristic Curve) misura la qualità del classificatore su tutta la gamma di possibili soglie di decisione. Si basa su tutte le coppie di valori di True Positive Rate (TPR) e False Positive Rate (FPR) al variare della soglia. Pertanto, l’ROC AUC non dipende dalla soglia specifica scelta — riassume le prestazioni del modello su tutte le soglie.

Al contrario, la Precision (precisione) è il rapporto tra risultati positivi veri e la somma di risultati positivi veri e falsi positivi, ed è calcolata per una soglia di classificazione specifica. Cambiando la soglia, cambia anche il numero di predizioni positive, e di conseguenza, anche la Precision.

In altre parole:

• ROC AUC — metrica integrale che considera tutte le soglie, riflettendo la capacità generale del modello di distinguere le classi.
• Precision — metrica locale, dipendente dalla soglia scelta, che riflette la qualità delle predizioni positive a quella soglia.

Questo spiega perché l’ROC AUC è stabile rispetto alla soglia, mentre la Precision non lo è.