Рейтинг тапшырмаларында MAP жана MRR метрикалары кандайча эсептелет?

MAP (Орто Орто Такталуу Тууралык) жана MRR (Орто Тескер Ранг) рейтинг тапшырмаларында сапат көрсөткүчтөрү болуп саналат, алар моделдин тиешелүү элементтерди канчалык жакшы тартипке келтиргенин баалайт.

• MAP бардык суроолор үчүн Орто Орто Такталуу Тууралыктын орточо мааниси. Бир суроо үчүн Орто Орто Такталуу Тууралык — тиешелүү документтер жайгашкан позицияларындагы тактыкнын орточо мааниси.

AP формуласы бир суроо үчүн:

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

жерде:

• (N) кайтарылган документтердин саны,
• (R) тиешелүү документтердин саны,
• (P(k)) позициядагы тактык,
• (rel(k)) документтин тиешелүүлүк көрсөткүчү (эгер тиешелүү болсо 1, эгер эмес болсо 0).

MAP — бардык суроолор үчүн AP орточо мааниси.

• MRR — бардык суроолор үчүн биринчи тиешелүү документтин тескерисинче рангинин орточо мааниси.

Бир суроо үчүн формула:

[ RR = \frac{1}{rank} ]

жерде (rank) — биринчи тиешелүү документтин орунунда.

MRR — бардык суроолор үчүн RR орточо мааниси.

Мисал: үч суроо үчүн биринчи тиешелүү документтер 1, 3 жана 2 позицияларында болсо, анда:

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]