¿Cuáles son las métricas de calidad de generación en RAG (fidelidad, relevancia de la respuesta, precisión/recall del contexto)?

En RAG (Retrieval-Augmented Generation), a menudo se utilizan las siguientes métricas para evaluar la calidad de la generación:

• Fidelidad (veracidad) — qué tan bien la respuesta generada se ajusta a los hechos extraídos del contexto. Es importante para evaluar la veracidad y la ausencia de invenciones.

• Relevancia de la respuesta — qué tan relevante es la respuesta para la pregunta planteada, es decir, si responde completa y sustancialmente.

• Precisión/recall del contexto — métricas que evalúan la calidad de la extracción de información relevante de la base de conocimientos:

  • Precisión — proporción de documentos extraídos que son realmente relevantes.
  • Recall — proporción de documentos relevantes que fueron extraídos.

Estas métricas ayudan a entender qué tan eficazmente el modelo utiliza el contexto externo y qué tan correctamente forma las respuestas basándose en él.