Comment évaluer la qualité de la récupération dans RAG (recall@k, hit@k, MRR) ?

Dans RAG (Génération Augmentée par Récupération), la qualité de la récupération est évaluée à l’aide de métriques qui mesurent la pertinence des documents renvoyés par le modèle depuis la base de connaissances:

• Recall@k — la proportion de documents pertinents qui apparaissent dans les résultats principaux k. Cela indique la complétude de la recherche.

• Hit@k — une métrique binaire qui vaut 1 si au moins un document pertinent est dans les k premiers résultats, sinon 0. Elle sert à évaluer la fréquence à laquelle un document pertinent est trouvé.

• MRR (Rang Réciproque Moyen) — la moyenne du rang réciproque du premier document pertinent dans la liste. Plus le MRR est élevé, plus les documents pertinents sont proches du début.

Exemple : si un document pertinent est en position 3 pour une requête, alors le rang réciproque = 1/3.

Ces métriques aident à comprendre l’efficacité du composant de récupération de RAG pour trouver l’information nécessaire à la génération de réponses.