Que técnicas de compressão de prompts conhece (LLMLingua)?

A compressão de prompts são técnicas de redução ou otimização de solicitações de entrada (prompt) para grandes modelos de linguagem (LLM), a fim de diminuir seu comprimento e aumentar a eficiência sem perder qualidade na resposta. Os principais métodos:

• Remoção de informações redundantes: eliminar partes repetitivas ou não essenciais do texto.
• Uso de abreviações e siglas: substituir frases longas por versões curtas e compreensíveis pelo modelo.
• Reformulação: reescrever a solicitação de forma mais compacta, mantendo o significado.
• Uso de links contextuais: em vez de repetir informações, usar links para dados fornecidos anteriormente.
• Codificação ou compressão: aplicar formatos especiais ou tokenização para reduzir o tamanho.

Esses métodos ajudam a reduzir o consumo de tokens e acelerar o processamento, o que é importante ao trabalhar com limitações de modelos e custos de solicitações.