Решаем задачу бинарной классификации. Доля положительного класса в выборке 5%. Модель показывает Accuracy 95%. Что можно сказать о качестве такой модели?

Если положительный класс составляет всего 5%, а модель показывает Accuracy 95%, это может быть обманчиво хорошим результатом. Такая точность может означать, что модель просто всегда предсказывает отрицательный класс и тем самым достигает 95% правильных ответов, игнорируя положительный класс.

В задачах с несбалансированными классами Accuracy часто не отражает реальную эффективность модели. Важно смотреть на метрики, чувствительные к положительному классу, например:

• Precision (точность)
• Recall (полнота)
• F1-score
• ROC-AUC

Без анализа этих метрик нельзя утверждать, что модель действительно хорошо решает задачу классификации. Нужно проверить, насколько модель способна обнаруживать положительные примеры, а не просто угадывать чаще отрицательные.