Как считаются метрики MAP и MRR в задачах ранжирования?

MAP (Mean Average Precision) и MRR (Mean Reciprocal Rank) — это метрики качества в задачах ранжирования, которые оценивают, насколько хорошо модель упорядочивает релевантные элементы.

• MAP — среднее значение Average Precision по всем запросам. Average Precision для одного запроса — это среднее значение точности (precision) на позициях, где встречаются релевантные документы.

Формула AP для одного запроса:

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

где:

• (N) — количество возвращенных документов,
• (R) — количество релевантных документов,
• (P(k)) — точность на позиции (k),
• (rel(k)) — индикатор релевантности документа на позиции (k) (1, если релевантен, 0 — иначе).

MAP — это среднее AP по всем запросам.

• MRR — среднее значение обратного ранга первого релевантного документа по всем запросам.

Формула для одного запроса:

[ RR = \frac{1}{rank} ]

где (rank) — позиция первого релевантного документа в списке.

MRR — среднее значение RR по всем запросам.

Пример: если для трех запросов первые релевантные документы находятся на позициях 1, 3 и 2, то

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]