Ортоңку кайра кайтаруу даражасы (MRR) эмне жана ал кайда колдонулат издөө баалоодо?

Ортача тес Ranking (MRR) — бул издөөнүн жана сунуштоо системаларынын сапатын баалоо үчүн колдонулган көрсөткүч. Ал суранычтардын топтому үчүн биринчи тиешелүү натыйжанын ордуна карата тес Rankingдин орточо маанисин өлчөйт.

Формула:

[ MRR = \frac{1}{Q} \sum_{i=1}^Q \frac{1}{rank_i} ]

башкача айтканда, (Q) — суранычтардын саны, ал эми (rank_i) — i-чи сураныч үчүн биринчи тиешелүү натыйжанын орду.

MRR маалымат издөө тапшырмаларында, анын ичинде NLP жана embeddings негизделген моделдердин баалоосунда колдонулат, колдонуучу канчалык тез тиешелүү жооп алса, ошончолук жакшы болот. MRR жогору (1ге жакын) болсо, издөө сапаты жакшыраак.