Qual é a diferença entre recuperação esparsa (BM25) e densa?

A recuperação esparsa (por exemplo, BM25) e a recuperação densa são duas abordagens para a busca de informações:

• Recuperação esparsa (BM25) baseia-se em métodos tradicionais, onde documentos e consultas são representados como vetores dispersos, levando em consideração a frequência das palavras e sua importância. BM25 avalia a relevância com base na correspondência de palavras-chave e seus pesos.

• Recuperação densa usa modelos de redes neurais para transformar consultas e documentos em vetores densos de dimensão fixa. A busca ocorre pela proximidade desses vetores no espaço de características, permitindo considerar a proximidade semântica, e não apenas correspondências exatas de palavras.

Dessa forma, a recuperação esparsa funciona bem com correspondências exatas e consultas simples, enquanto a recuperação densa é eficaz para compreender o significado e sinônimos, o que é especialmente importante em sistemas modernos com grandes modelos de linguagem e RAG (geração aumentada por recuperação).