Como perceber se um modelo é bom ou mau? Quais as métricas existentes e o que elas significam?

A avaliação da qualidade do modelo depende da tarefa (classificação, regressão, etc.) e dos objetivos. As principais métricas:

Para tarefas de classificação:

• Precisão (Accuracy) — proporção de previsões corretas em relação ao total. Boa para classes balanceadas.
• Precisão (Precision) — proporção de verdadeiros positivos entre todos os positivos previstos.
• Recall (Sensibilidade) — proporção de verdadeiros positivos encontrados entre todos os positivos reais.
• F1-score — média harmônica de precisão e recall, equilibrando ambos.
• ROC-AUC — área sob a curva ROC, indica a qualidade da separação das classes.

Para tarefas de regressão:

• MSE (Erro Quadrático Médio) — erro quadrático médio, sensível a grandes desvios.
• MAE (Erro Absoluto Médio) — erro absoluto médio, mais resistente a valores extremos.
• R² (Coeficiente de Determinação) — mostra a proporção da variância explicada pelo modelo.

Um bom modelo é aquele que apresenta valores altos nas métricas de qualidade (por exemplo, alta precisão e F1 para classificação, erros baixos para regressão) em um conjunto de teste, e não apenas no conjunto de treinamento (para evitar overfitting). Também é importante considerar o contexto de negócio e o equilíbrio entre métricas (por exemplo, às vezes, maior sensibilidade é mais importante que precisão).