Como medir a qualidade de um modelo de classificação binária? Quais métricas conhece?

Для оценки качества модели бинарной классификации используют разные метрики, которые отражают разные аспекты работы модели:

• Accuracy (точность) — доля правильных предсказаний (и положительных, и отрицательных) от общего числа.
• Precision (точность положительных предсказаний) — сколько из предсказанных положительных действительно положительные.
• Recall (полнота) — сколько из всех реальных положительных модель правильно нашла.
• F1-score — гармоническое среднее precision и recall, балансирует между ними.
• ROC-AUC — площадь под ROC-кривой, показывает качество разделения классов при разных порогах.

Выбор метрики зависит от задачи. Например, при обнаружении болезни важен recall, чтобы не пропустить больных, а при спаме — precision, чтобы не блокировать нормальные письма.