Quais são as métricas de qualidade de geração em RAG (fidelidade, relevância da resposta, precisão/recall do contexto)?

No RAG (Retrieval-Augmented Generation), frequentemente utilizam-se as seguintes métricas para avaliar a qualidade da geração:

• Fidelidade (veracidade) — quão bem a resposta gerada corresponde aos fatos extraídos do contexto. Importante para avaliar a veracidade e a ausência de invenções.

• Relevância da resposta — quão relevante é a resposta para a questão colocada, ou seja, se responde de forma completa e substancial.

• Precisão/recall do contexto — métricas que avaliam a qualidade da extração de informações relevantes da base de conhecimentos:

  • Precisão — proporção de documentos extraídos que são realmente relevantes.
  • Recall — proporção de documentos relevantes que foram extraídos.

Essas métricas ajudam a entender quão eficazmente o modelo utiliza o contexto externo e quão corretamente forma as respostas com base nele.