O que é compressão contextual no RAG?

A compressão contextual na Geração Aumentada por Recuperação (RAG) é uma técnica de compressão e otimização do contexto fornecido à entrada do modelo de linguagem juntamente com informações extraídas de fontes externas. O objetivo é reduzir o volume do texto, preservando as informações-chave, para usar eficazmente a limitação de comprimento do contexto do modelo e aumentar a relevância da resposta.

Por exemplo, ao procurar documentos relevantes para responder a uma pergunta, os textos extraídos podem ser demasiado longos. A compressão contextual aplica métodos como a extração de frases-chave, reformulação ou uso de modelos especializados de compressão, para deixar apenas os fragmentos importantes que ajudarão o modelo de linguagem a gerar uma resposta precisa e informativa.

Isto é especialmente importante no RAG, onde a qualidade e a concisão do contexto influenciam diretamente a qualidade da geração e a eficiência do sistema.