Что такое parent-document retriever и зачем он нужен?

Parent-document retriever — это компонент в системах Retrieval-Augmented Generation (RAG) и больших языковых моделей (LLM), который отвечает за поиск и извлечение родительских документов или контекста, связанных с конкретным фрагментом информации.

Зачем нужен:

• В RAG модели сначала извлекаются релевантные документы из базы знаний.
• Иногда нужно получить не только конкретный фрагмент, но и его «родительский» документ, чтобы обеспечить полный контекст для генерации ответа.
• Parent-document retriever помогает связать отдельные части информации с их источниками, улучшая качество и точность ответов.

Например, если извлечён абзац из статьи, parent-document retriever найдёт всю статью, к которой он принадлежит, чтобы LLM мог учесть более широкий контекст при формировании ответа.