Как се изчисляват метриките MAP и MRR в задачите за класиране?

MAP (Средна средна прецизност) и MRR (Среден обратен ранг) са метрики за качество в задачите за класиране, които оценяват колко добре моделът подрежда релевантните елементи.

• MAP е средната стойност на Средната прецизност за всички заявки. Средната прецизност за една заявка е средната стойност на точността на позициите, където се срещат релевантни документи.

Формула за AP за една заявка:

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

където:

• (N) е броят на върнатите документи,
• (R) е броят на релевантните документи,
• (P(k)) е точността на позиция (k),
• (rel(k)) е индикаторът за релевантност на документа на позиция (k) (1 ако релевантен, 0 ако не).

MAP е средната стойност на AP за всички заявки.

• MRR е средната стойност на RR (обратния ранг) на първия релевантен документ за всички заявки.

Формула за една заявка:

[ RR = \frac{1}{rank} ]

където (rank) е позицията на първия релевантен документ в списъка.

MRR е средната стойност на RR за всички заявки.

Пример: ако за три заявки първите релевантни документи са на позиции 1, 3 и 2, тогава

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]