Aké techniky kompresie promptov poznáte (LLMLingua)?

Kompresia promptov sú techniky skrátenia alebo optimalizácie vstupných požiadaviek (promptov) pre veľké jazykové modely (LLM), s cieľom znížiť ich dĺžku a zvýšiť efektívnosť bez straty kvality odpovede. Hlavné metódy:

• Odstránenie nadbytočných informácií: odstránenie opakujúcich sa alebo nedôležitých častí textu.
• Použitie skratiek a skrátených foriem: nahradenie dlhých fráz krátkymi, zrozumiteľnými modelu.
• Preformulovanie: preformulovať požiadavku kompaktnejšie, zachovávajúc zmysel.
• Použitie kontextových odkazov: namiesto opakovania informácií použiť odkazy na skôr poskytnuté údaje.
• Kódovanie alebo kompresia: použitie špeciálnych formátov alebo tokenizácie na zníženie veľkosti.

Tieto metódy pomáhajú znížiť spotrebu tokenov a urýchliť spracovanie, čo je dôležité pri práci s obmedzeniami modelov a nákladmi na požiadavky.