Ce este HyDE (Hypothetical Document Embeddings)?

HyDE (Încărcări Ipotezice de Documente) este o metodă utilizată în sistemele cu modele mari de limbaj (LLM) și Generare Îmbogățită prin Recuperare (RAG). Ideea este de a genera mai întâi un document ipotetic sau un răspuns la solicitare folosind LLM, apoi de a obține încorporarea (embedding-ul) acestui text generat pentru căutare sau potrivire cu documente reale.

Astfel, în loc să caute direct după solicitarea inițială, sistemul creează mai întâi un document "imaginar" care reflectă sensul solicitării și apoi efectuează căutarea pe baza acestuia. Acest lucru ajută la îmbunătățirea calității și relevanței căutării, mai ales când solicitările sunt complexe sau ambigue.

Exemplu de aplicare:

• Utilizatorul introduce o întrebare.
• LLM generează un răspuns ipotetic sau un document despre această întrebare.
• Textul obținut este transformat într-un vector (încorporare/embedding).
• Căutarea în baza de date de documente se face pe baza proximității încorporărilor.

Aceasta crește eficiența Generării Îmbogățite prin Recuperare, permițând o legătură mai bună între solicitări și informațiile relevante.