Como avaliar a qualidade da recuperação em RAG (recall@k, hit@k, MRR)?

Na RAG (Geração Aumentada por Recuperação), a qualidade da recuperação é avaliada por métricas que medem quão relevantes são os documentos devolvidos pelo modelo a partir da base de conhecimentos:

• Recall@k — a proporção de documentos relevantes que aparecem nos resultados principais k. Mostra a completude da pesquisa.

• Hit@k — uma métrica binária que é 1 se pelo menos um documento relevante estiver nos primeiros k resultados, e 0 caso contrário. É usada para avaliar com que frequência um documento relevante é encontrado.

• MRR (Rácio Recíproco Médio) — o valor médio do rácio recíproco do primeiro documento relevante na lista. Quanto maior o MRR, mais próximos do início estão os documentos relevantes.

Exemplo: se um documento relevante estiver na posição 3 para uma consulta, então o rácio recíproco = 1/3.

Estas métricas ajudam a entender quão eficaz é o componente de recuperação do RAG para encontrar a informação necessária para gerar respostas.