Какво е parent-document retriever и за какво е нужен?

Рекуператор на родителски документи е компонент в системите Retrieval-Augmented Generation (RAG) и големи езикови модели (LLM), който отговаря за търсенето и извличането на родителски документи или контексти, свързани с конкретен информационен фрагмент.

За какво служи:

• В моделите RAG първо се извличат релевантни документи от базата знания.
• Понякога е необходимо да се получи не само конкретен фрагмент, но и неговият "родителски" документ, за да се осигури пълен контекст за генериране на отговора.
• Рекуператорът на родителски документи помага да се свържат отделните части от информацията с техните източници, подобрявайки качеството и точността на отговорите.

Например, ако се извлече параграф от статия, рекуператорът ще намери цялата статия, към която принадлежи, за да може LLM да вземе предвид по-широк контекст при формулирането на отговора.