Quelles sont les métriques de qualité de génération dans RAG (fidélité, pertinence de la réponse, précision/rappel du contexte) ?

Dans RAG (Retrieval-Augmented Generation), les métriques suivantes sont souvent utilisées pour évaluer la qualité de la génération :

• Fidélité (exactitude) — dans quelle mesure la réponse générée correspond aux faits extraits du contexte. Importante pour évaluer la véracité et l'absence d'inventions.

• Pertinence de la réponse — dans quelle mesure la réponse est pertinente par rapport à la question posée, c'est-à-dire si elle répond de manière complète et substantielle.

• Précision/rappel du contexte — métriques évaluant la qualité de l'extraction d'informations pertinentes de la base de connaissances :

  • Précision — proportion de documents extraits qui sont réellement pertinents.
  • Rappel — proportion de documents pertinents qui ont été extraits.

Ces métriques aident à comprendre à quel point le modèle utilise efficacement le contexte externe et à quel point il formule correctement les réponses en se basant sur celui-ci.