Comment calculer les métriques MAP et MRR dans les tâches de classement ?

MAP (Précision Moyenne Moyenne) et MRR (Rang Réciproque Moyen) sont des métriques de qualité dans les tâches de classement, qui évaluent à quel point le modèle ordonne bien les éléments pertinents.

• MAP est la valeur moyenne de la Précision Moyenne pour toutes les requêtes. La Précision Moyenne pour une requête est la moyenne de la précision aux positions où apparaissent des documents pertinents.

Formule de l'AP pour une requête :

[ AP = \frac{1}{R} \sum_{k=1}^N P(k) \times rel(k) ]

où :

• (N) est le nombre de documents renvoyés,
• (R) est le nombre de documents pertinents,
• (P(k)) est la précision à la position (k),
• (rel(k)) est l'indicateur de pertinence du document à la position (k) (1 si pertinent, 0 sinon).

MAP est la moyenne de l'AP pour toutes les requêtes.

• MRR est la valeur moyenne du rang réciproque du premier document pertinent pour toutes les requêtes.

Formule pour une requête :

[ RR = \frac{1}{rank} ]

où (rank) est la position du premier document pertinent dans la liste.

MRR est la moyenne de RR pour toutes les requêtes.

Exemple : si pour trois requêtes, les premiers documents pertinents se trouvent aux positions 1, 3 et 2, alors

[ MRR = \frac{1}{3} \left(1 + \frac{1}{3} + \frac{1}{2}\right) = 0.611 ]