¿Cómo entender si un modelo es bueno o malo? ¿Qué métricas existen y qué significan?

La evaluación de la calidad del modelo depende de la tarea (clasificación, regresión, etc.) y de los objetivos. Las métricas principales:

Para tareas de clasificación:

• Precisión (Accuracy) — proporción de predicciones correctas respecto al total. Es adecuada para clases equilibradas.
• Precisión (Precision) — proporción de verdaderos positivos entre todos los positivos predichos.
• Recall (Sensibilidad) — proporción de verdaderos positivos encontrados respecto a todos los positivos reales.
• F1-score — media armónica de precisión y recall, que equilibra ambas.
• ROC-AUC — área bajo la curva ROC, indica la calidad de separación de clases.

Para tareas de regresión:

• MSE (Error Cuadrático Medio) — error cuadrático medio, sensible a grandes desviaciones.
• MAE (Error Absoluto Medio) — error absoluto medio, más resistente a valores atípicos.
• R² (Coeficiente de determinación) — muestra qué proporción de la variabilidad explica el modelo.

Un buen modelo es aquel que muestra valores altos en métricas de calidad (por ejemplo, alta precisión y F1 para clasificación, errores bajos para regresión) en un conjunto de datos de prueba, y no solo en el conjunto de entrenamiento (para evitar sobreajuste). También es importante considerar el contexto del negocio y el equilibrio entre métricas (por ejemplo, a veces la sensibilidad es más importante que la precisión).