O que é HyDE (Hypothetical Document Embeddings)?

HyDE (Embeddings de Documentos Hipotéticos) é um método utilizado em sistemas com grandes modelos de linguagem (LLM) e Geração Aumentada por Recuperação (RAG). A ideia é gerar primeiro um documento hipotético ou uma resposta à consulta usando LLM, e depois obter o embedding desse texto gerado para busca ou correspondência com documentos reais.

Assim, em vez de procurar diretamente pela consulta original, o sistema primeiro cria um "documento imaginário" que reflete o significado da consulta, e realiza a busca com base nisso. Isso ajuda a melhorar a qualidade e relevância da busca, especialmente quando as consultas são complexas ou ambíguas.

Exemplo de aplicação:

• O usuário insere uma pergunta.
• O LLM gera uma resposta ou documento hipotético sobre essa pergunta.
• O texto obtido é convertido em um vetor (embeddings).
• A busca na base de dados de documentos é realizada com base na proximidade dos embeddings.

Isso aumenta a eficiência da Geração Aumentada por Recuperação, permitindo uma melhor ligação entre as consultas e a informação relevante.