Какие метрики важнее для оценки качества рекомендаций: precision или recall?

Что хотят услышать интервьюеры:

Для рекомендаций нельзя однозначно выбрать только precision или только recall — важен баланс, зависящий от продукта и бизнес-цели. Если нужно показывать очень точные рекомендации, обычно важнее precision. Если важно не пропустить потенциально полезные товары или контент, важнее recall. На практике часто смотрят на обе метрики вместе, а иногда используют F1 или NDCG.

Определение:

Precision показывает, какая доля рекомендованных объектов действительно релевантна пользователю. Recall показывает, какую долю всех релевантных объектов система смогла найти среди своих рекомендаций.
Для рекомендательных систем обе метрики полезны, но отвечают на разные вопросы: precision — «насколько точны рекомендации», recall — «насколько полно система охватила интересные варианты».

Пример использования:

Допустим, системе нужно рекомендовать 10 фильмов, которые пользователь с большой вероятностью посмотрит. Если среди этих 10 фильмов 8 действительно интересны пользователю, precision высокий. Если всего у пользователя было 20 потенциально интересных фильмов, а система показала только 8 из них, recall будет средним.

Рекомендовано: 10 фильмов
Релевантны пользователю среди них: 8
Всего релевантных фильмов для пользователя: 20

Precision = 8 / 10 = 0.8
Recall = 8 / 20 = 0.4

Пояснение кода:

Код не требуется. Пример выше можно разобрать так:

1. Берём количество правильных рекомендаций — это числитель для precision.
2. Делим на общее число показанных рекомендаций — получаем precision.
3. Те же правильные рекомендации делим на общее число всех релевантных объектов — получаем recall.
4. Сравниваем метрики в контексте задачи: если важнее качество каждого показа, смотрим precision; если важнее покрытие релевантных вариантов, смотрим recall.

Ключевые моменты:

• Для рекомендаций нет универсально «важнее» метрики: выбор зависит от сценария.
• Precision важнее, когда нужно не раздражать пользователя нерелевантными советами.
• Recall важнее, когда важно не упустить полезные варианты, даже если рекомендаций много.
• На практике часто оценивают обе метрики вместе.
• Для top-N рекомендаций нередко дополнительно смотрят F1, NDCG, MAP и бизнес-метрики.
• Баланс precision/recall обычно настраивают через порог, ранжирование и количество выдаваемых рекомендаций.