Was ist HyDE (Hypothetical Document Embeddings)?

HyDE (Hypothetische Dokument-Embeddings) ist eine Methode, die in Systemen mit großen Sprachmodellen (LLM) und Retrieval-Augmented Generation (RAG) verwendet wird. Die Idee ist, zunächst ein hypothetisches Dokument oder eine Antwort auf die Anfrage mit Hilfe von LLM zu generieren und dann das Embedding dieses generierten Textes für die Suche oder den Abgleich mit echten Dokumenten zu erhalten.

Auf diese Weise sucht das System nicht direkt nach der ursprünglichen Anfrage, sondern erstellt zuerst ein "imaginäres" Dokument, das die Bedeutung der Anfrage widerspiegelt, und führt die Suche basierend darauf durch. Dies hilft, die Qualität und Relevanz der Suche zu verbessern, insbesondere wenn die Anfragen komplex oder mehrdeutig sind.

Anwendungsbeispiel:

• Der Benutzer gibt eine Frage ein.
• Das LLM generiert eine hypothetische Antwort oder ein Dokument zu dieser Frage.
• Der erhaltene Text wird in einen Vektor (Embedding) umgewandelt.
• Die Suche in der Dokumentenbasis erfolgt basierend auf der Nähe der Embeddings.

Dies erhöht die Effizienz der Retrieval-Augmented Generation und ermöglicht eine bessere Verbindung zwischen Anfragen und relevanten Informationen.