Как понять, насколько модель хорошая или плохая? Какие метрики существуют и что они означают?

Оценка качества модели зависит от задачи (классификация, регрессия и т.д.) и целей. Основные метрики:

Для задач классификации:

• Accuracy (точность) — доля правильных предсказаний от общего числа. Хорошо подходит при сбалансированных классах.
• Precision (точность) — доля правильно предсказанных положительных примеров среди всех предсказанных положительных.
• Recall (полнота) — доля правильно найденных положительных примеров среди всех реальных положительных.
• F1-score — гармоническое среднее precision и recall, балансирует между ними.
• ROC-AUC — площадь под ROC-кривой, показывает качество разделения классов.

Для задач регрессии:

• MSE (Mean Squared Error) — среднеквадратичная ошибка, чувствительна к большим отклонениям.
• MAE (Mean Absolute Error) — средняя абсолютная ошибка, более устойчива к выбросам.
• R² (коэффициент детерминации) — показывает, какую долю дисперсии объясняет модель.

Хорошая модель — это та, которая показывает высокие значения метрик качества (например, высокая точность и F1 для классификации, низкие ошибки для регрессии) на отложенной выборке (тесте), а не только на обучающей (чтобы избежать переобучения). Также важно учитывать бизнес-контекст и баланс между метриками (например, иногда важнее полнота, чем точность).