O que é a geração de candidatos e quais são as abordagens (BM25, denso, híbrido)?

A geração de candidatos é uma etapa nos sistemas de pesquisa e recomendação, na qual um conjunto limitado de candidatos relevantes é selecionado de um grande volume de dados para um processamento mais preciso posterior (por exemplo, classificação).\n\nPrincipais abordagens para a geração de candidatos:\n\n- BM25 — método clássico baseado na frequência inversa de palavras (TF-IDF), que avalia a relevância dos documentos com base nas palavras-chave da consulta. Funciona bem com dados textuais, é rápido e interpretável.\n\n- Recuperação densa — usa representações vetoriais densas (embeddings) de consultas e documentos, obtidas por redes neurais. Permite considerar a semântica e o contexto, não apenas a correspondência exata de palavras.\n\n- Híbrido — combina abordagens BM25 e densa para aproveitar as vantagens de ambos: correspondência exata de palavras-chave e compreensão semântica. Por exemplo, primeiro selecionam-se candidatos com BM25, depois são ampliados com recuperação densa.\n\nEssa abordagem permite reduzir eficazmente o conjunto de documentos aos candidatos relevantes para uma análise e classificação mais aprofundadas.