O que é avaliação de recuperação no seu próprio conjunto de dados?

A avaliação de recuperação no seu próprio conjunto de dados é o processo de avaliar a qualidade de um sistema de busca ou extração de informações (por exemplo, busca vetorial por embeddings) em dados específicos para a sua tarefa ou negócio.

O objetivo principal é entender quão eficazmente o sistema encontra documentos ou elementos relevantes em resposta a uma consulta. Para isso, geralmente usam-se métricas como Precision@k, Recall, Mean Average Precision (MAP), Normalized Discounted Cumulative Gain (NDCG).

Exemplo:

• Reúne-se um conjunto de consultas e, para cada uma, uma lista de documentos relevantes (verdade de terreno).
• O sistema de recuperação é executado, retornando resultados para essas consultas.
• Os resultados são comparados com a referência, e as métricas são calculadas.

Isso ajuda a ajustar e melhorar os algoritmos de busca especificamente para seus dados, ao invés de depender de conjuntos de dados gerais que podem não refletir a especificidade do seu campo.