Спроектируйте систему чат-бота поддержки на основе RAG с гарантией отсутствия hallucination.

Для проектирования системы чат-бота поддержки на основе Retrieval-Augmented Generation (RAG) с гарантией отсутствия галлюцинаций (hallucination) необходимо:

1. Архитектура RAG:

   • Использовать модуль поиска релевантной информации (retriever), который извлекает документы из базы знаний по запросу пользователя.
   • Генеративную модель (generator), которая формирует ответ, опираясь строго на найденные документы.

2. Гарантия отсутствия галлюцинаций:

   • Ограничить генеративную модель только контекстом извлечённых документов.
   • Использовать методы строгой проверки источников, например, включать ссылки на документы в ответ.
   • Внедрить валидацию ответов через дополнительный модуль проверки фактов (fact-checker).

3. Компоненты системы:

   • База знаний: структурированная и актуальная, с возможностью быстрого поиска.
   • Retriever: например, векторный поиск с использованием эмбеддингов.
   • Generator: fine-tuned LLM, обученная генерировать ответы только на основе входных данных.
   • Fact-checker: сверяет с базой знаний или внешними источниками.
   • Логика диалога: управление сессиями, обработка запросов.

4. Примерный поток:

   • Пользователь задаёт вопрос.
   • Retriever извлекает релевантные документы.
   • Generator формирует ответ, используя только эти документы.
   • Fact-checker проверяет ответ.
   • Ответ возвращается пользователю с указанием источников.

5. Дополнительно:

   • Обновление базы знаний для актуальности.
   • Мониторинг и логирование для анализа ошибок.

Таким образом, ключ к отсутствию галлюцинаций — строгая привязка генерации к проверенным данным и контроль качества ответов.