Czym jest HyDE (Hypothetical Document Embeddings)?

HyDE (Hipotetyczne Osadzenia Dokumentów) to metoda stosowana w systemach z dużymi modelami językowymi (LLM) i Generacją Wzbogaconą o Wyszukiwanie (RAG). Pomysł polega na tym, aby najpierw wygenerować hipotetyczny dokument lub odpowiedź na zapytanie za pomocą LLM, a następnie uzyskać osadzenie tego wygenerowanego tekstu do celów wyszukiwania lub dopasowania z rzeczywistymi dokumentami.

W ten sposób, zamiast bezpośrednio szukać po oryginalnym zapytaniu, system najpierw tworzy "wyobrażony" dokument odzwierciedlający sens zapytania, i na jego podstawie wykonuje wyszukiwanie. To pomaga poprawić jakość i trafność wyszukiwania, szczególnie gdy zapytania są skomplikowane lub niejednoznaczne.

Przykład zastosowania:

• Użytkownik wpisuje pytanie.
• LLM generuje hipotetyczną odpowiedź lub dokument na to pytanie.
• Uzyskany tekst jest konwertowany na wektor (osadzenie).
• Wyszukiwanie w bazie dokumentów odbywa się na podstawie bliskości osadzeń.

To zwiększa efektywność Generacji Wzbogaconej o Wyszukiwanie, umożliwiając lepsze powiązanie zapytań z odpowiednimi informacjami.