O que é pesquisa híbrida no Qdrant e como combinar dense + sparse?

A pesquisa híbrida no Qdrant é uma pesquisa combinada que une as vantagens dos embeddings vetoriais densos e das representações de texto dispersas para melhorar a qualidade da pesquisa.

• Pesquisa densa baseia-se na busca por embeddings vetoriais obtidos de modelos de aprendizagem profunda (por exemplo, BERT), que capturam bem a semântica.
• Pesquisa dispersa utiliza métodos clássicos, como busca por palavras-chave ou TF-IDF, que funcionam bem com correspondência exata de termos.

No Qdrant, a pesquisa híbrida é realizada combinando as pontuações dos componentes densos e dispersos. Normalmente, isso é feito assim:

1. Para a consulta, calcula-se um vetor denso e realiza-se uma busca na base de vetores.
2. Paralelamente ou sequencialmente, realiza-se uma busca dispersa (por exemplo, através de um motor de busca externo).
3. Os resultados são combinados por uma soma ponderada das pontuações, onde é possível ajustar os pesos para as partes densas e dispersas.

Exemplo de pseudocódigo para combinar as pontuações:

final_score = alpha * dense_score + (1 - alpha) * sparse_score

onde alpha é um coeficiente que regula a contribuição de cada tipo de busca.

Essa abordagem permite considerar tanto a proximidade semântica (densa) quanto a correspondência exata de palavras-chave (dispersa), melhorando a relevância dos resultados.