¿Cómo evaluar la calidad de recuperación en RAG (recall@k, hit@k, MRR)?

En RAG (Generación Aumentada por Recuperación), la calidad de la recuperación se evalúa mediante métricas que miden qué tan relevantes son los documentos devueltos por el modelo desde la base de conocimientos:

• Recall@k — la proporción de documentos relevantes que aparecen en los resultados principales k. Muestra la exhaustividad de la búsqueda.

• Hit@k — una métrica binaria que es 1 si al menos un documento relevante está en los primeros k resultados, y 0 en caso contrario. Se usa para evaluar con qué frecuencia se encuentra un documento relevante.

• MRR (Media de Rango Reciproco) — el valor medio del rango recíproco del primer documento relevante en la lista. Cuanto mayor sea el MRR, más cerca están los documentos relevantes del inicio.

Ejemplo: si un documento relevante está en la posición 3 para una consulta, entonces el rango recíproco = 1/3.

Estas métricas ayudan a entender qué tan eficaz es el componente de recuperación de RAG para encontrar la información necesaria para generar respuestas.