Como é estruturada a arquitetura RAG?

A arquitetura RAG (Retrieval-Augmented Generation) combina dois componentes principais: um sistema de pesquisa (retrieval) e um modelo generativo (generation).

1. Componente de pesquisa responsável por extrair informações relevantes de um grande corpus de dados ou base de conhecimentos. Normalmente, trata-se de uma pesquisa vetorial baseada em embeddings de documentos, que permite encontrar rapidamente os fragmentos de texto mais adequados.

2. Modelo generativo (por exemplo, um transformador) recebe a consulta inicial e os documentos encontrados, e então gera uma resposta considerando o contexto dos dados recuperados.

Assim, o RAG melhora a qualidade das respostas ao combinar as vantagens da pesquisa na base de conhecimentos e da geração de texto, o que é especialmente útil ao trabalhar com grandes volumes de informação e memória limitada do modelo.

Exemplo de esquema simplificado:

Consulta do usuário -> Pesquisa de documentos relevantes -> Modelo generativo (entrada: consulta + documentos) -> Resposta