Πώς υπολογίζονται τα metrics MAP και MRR σε εργασίες κατάταξης;

MAP (Μέση Μέση Ακρίβεια) και MRR (Μέση Αναλογική Τάξη) είναι μετρικές ποιότητας σε εργασίες κατάταξης, που αξιολογούν πόσο καλά ταξινομεί ο μοντέλο τα σχετικά στοιχεία.

• MAP είναι η μέση τιμή της Μέσης Ακρίβειας για όλες τις ερωτήσεις. Η Μέση Ακρίβεια για μια ερώτηση είναι η μέση τιμή της ακρίβειας στις θέσεις όπου εμφανίζονται σχετικά έγγραφα.

Τύπος AP για μια ερώτηση:

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

όπου:

• (N) είναι ο αριθμός των επιστρεφόμενων εγγράφων,
• (R) είναι ο αριθμός των σχετικά εγγράφων,
• (P(k)) είναι η ακρίβεια στη θέση (k),
• (rel(k)) είναι ο δείκτης σχετικότητας του εγγράφου στη θέση (k) (1 αν είναι σχετικό, 0 αν όχι).

Το MAP είναι ο μέσος όρος του AP για όλες τις ερωτήσεις.

• MRR είναι η μέση τιμή του RR (αναλογική τάξη) του πρώτου σχετικά εγγράφου για όλες τις ερωτήσεις.

Τύπος για μια ερώτηση:

[ RR = \frac{1}{rank} ]

όπου (rank) είναι η θέση του πρώτου σχετικά εγγράφου στη λίστα.

Το MRR είναι ο μέσος όρος του RR για όλες τις ερωτήσεις.

Παράδειγμα: αν για τρεις ερωτήσεις τα πρώτα σχετικά έγγραφα βρίσκονται στις θέσεις 1, 3 και 2, τότε

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]