Кои техники за компресиране на promptове знаете (LLMLingua)?

Компресирането на prompt е техники за съкращаване или оптимизация на входните заявки (prompt) за големи езикови модели (LLM), с цел намаляване на тяхната дължина и повишаване на ефективността без загуба на качество на отговора. Основните методи:

• Премахване на излишна информация: премахване на повтарящи се или незначителни части от текста.
• Използване на съкращения и акроними: заместване на дълги фрази с кратки, разбираеми за модела.
• Преработване: преписване на заявката по-компактно, запазвайки смисъла.
• Използване на контекстуални връзки: вместо повторение на информация, използване на връзки към предоставените по-рано данни.
• Кодиране или компресиране: прилагане на специални формати или токенизация за намаляване на размера.

Тези методи помагат да се намали консумацията на токени и да се ускори обработката, което е важно при работа с ограничения на моделите и разходите за заявки.