Reyting vazifalarida MAP va MRR metriklari qanday hisoblanadi?

MAP (O'rtacha O'rtacha Aniqlik) va MRR (O'rtacha Ters Raqam) reyting vazifalarida sifat mezonlaridir va modelning muhim elementlarni qanday tartiblaganligini baholaydi.

• MAP barcha so'rovlar uchun O'rtacha O'rtacha Aniqlikning qiymatidir. Bir so'rov uchun O'rtacha Aniqlik, muhim hujjatlar joylashgan pozitsiyalarda aniqlikning o'rtacha qiymatidir.

AP formulasi bir so'rov uchun:

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

bu yerda:

• (N) qaytarilgan hujjatlar soni,
• (R) muhim hujjatlar soni,
• (P(k)) pozitsiyadagi aniqlik,( rel(k)) esa pozitsiyadagi hujjatning muhimligi ko'rsatkichi (agar muhim bo'lsa 1, aks holda 0).

MAP barcha so'rovlar uchun AP ning o'rtacha qiymatidir.

• MRR esa barcha so'rovlar uchun birinchi muhim hujjatning teskari raqami o'rtacha qiymatidir.

Bir so'rov uchun formulasi:

[ RR = \frac{1}{rank} ]

bu yerda (rank) birinchi muhim hujjatning pozitsiyasidir.

MRR barcha so'rovlar uchun RR ning o'rtacha qiymatidir.

Misol: agar uchta so'rov uchun birinchi muhim hujjatlar 1, 3 va 2 pozitsiyalarda bo'lsa, unda

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]