¿Qué técnicas de compresión de prompts conoces (LLMLingua)?

La compresión de prompts son técnicas de reducción u optimización de las solicitudes de entrada (prompt) para grandes modelos de lenguaje (LLM), con el fin de disminuir su longitud y aumentar la eficiencia sin perder calidad en la respuesta. Los métodos principales:

• Eliminación de información redundante: eliminar partes repetitivas o no esenciales del texto.
• Uso de abreviaturas y siglas: reemplazar frases largas por versiones cortas y comprensibles para el modelo.
• Reformulación: reescribir la solicitud de manera más compacta, manteniendo el significado.
• Uso de enlaces contextuales: en lugar de repetir información, usar enlaces a datos proporcionados anteriormente.
• Codificación o compresión: aplicar formatos especiales o tokenización para reducir el tamaño.

Estos métodos ayudan a reducir el consumo de tokens y acelerar el procesamiento, lo cual es importante cuando se trabaja con limitaciones de modelos y costos de solicitudes.