¿Qué es PR-AUC vs ROC-AUC en un desequilibrio extremo?

PR-AUC (Área bajo la curva de precisión-recall) y ROC-AUC (Área bajo la curva de la característica operativa del receptor) son métricas de calidad para la clasificación binaria, pero reaccionan de manera diferente al desequilibrio de clases.

En casos de desequilibrio extremo (cuando la clase positiva es muy rara), PR-AUC suele ser más informativa, ya que se centra en la precisión y el recall de la clase positiva. ROC-AUC considera la proporción de verdaderos positivos y falsos positivos, pero en un desequilibrio fuerte, los errores falsos positivos pueden parecer insignificantes, lo que lleva a una sobreestimación de la calidad del modelo.

Ejemplo:

• En una tarea de detección de anomalías (casos positivos raros), PR-AUC mostrará qué tan bien el modelo encuentra estos casos raros sin muchos falsos positivos.
• ROC-AUC puede ser alto incluso con una mala detección de anomalías si el modelo reconoce bien la clase negativa.

Por lo tanto, en casos de desequilibrio extremo, se recomienda usar PR-AUC para una evaluación más realista del modelo.