Quelles techniques de compression de prompt connaissez-vous (LLMLingua) ?

La compression de prompts consiste en des techniques de réduction ou d'optimisation des requêtes d'entrée (prompt) pour les grands modèles de langage (LLM), afin de réduire leur longueur et d'améliorer l'efficacité sans perte de qualité de réponse. Les principales méthodes :

• Suppression d'informations redondantes : éliminer les parties répétitives ou non essentielles du texte.
• Utilisation d'abréviations et d'acronymes : remplacer les longues phrases par des versions courtes et compréhensibles par le modèle.
• Reformulation : réécrire la requête de manière plus compacte, en conservant le sens.
• Utilisation de liens contextuels : au lieu de répéter l'information, utiliser des liens vers des données précédemment fournies.
• Codage ou compression : appliquer des formats spéciaux ou une tokenisation pour réduire la taille.

Ces méthodes aident à réduire la consommation de tokens et à accélérer le traitement, ce qui est important lors du travail avec des limitations de modèles et des coûts de requêtes.