Как Precision и Recall ведут себя при дисбалансе классов? Пример: 95 единиц и 5 нулей, модель всегда предсказывает 1.

В ситуации с сильным дисбалансом классов (например, 95 единиц и 5 нулей) метрики Precision и Recall могут вести себя неожиданно.

Если модель всегда предсказывает класс 1 (единицу):

• Recall для класса 1 будет 1.0 (100%), так как все реальные единицы правильно предсказаны.
• Precision для класса 1 тоже будет 1.0, так как все предсказания — единицы, и они все верны.

Однако для класса 0:

• Recall для класса 0 будет 0, так как ни один ноль не был предсказан.
• Precision для класса 0 не определён (деление на ноль), так как модель не предсказывала класс 0.

Таким образом, при сильном дисбалансе и такой стратегии модель кажется идеальной для доминирующего класса, но полностью игнорирует минорный класс. Это иллюстрирует, что Precision и Recall нужно смотреть для каждого класса отдельно и учитывать дисбаланс. Для оценки моделей на дисбалансных данных часто используют метрики, учитывающие оба класса, например, F1-score или ROC-AUC.