Jaké techniky komprese promptů znáte (LLMLingua)?

Kompresce promptů jsou techniky zkracování nebo optimalizace vstupních požadavků (promptů) pro velké jazykové modely (LLM), s cílem snížit jejich délku a zvýšit efektivitu bez ztráty kvality odpovědi. Hlavní metody:

• Odstranění nadbytečných informací: odstranění opakujících se nebo nedůležitých částí textu.
• Použití zkratek a zkrácených forem: nahrazení dlouhých frází krátkými, srozumitelnými modelu.
• Přeformulování: přeformulovat požadavek kompaktněji, zachovávající smysl.
• Použití kontextových odkazů: místo opakování informací používat odkazy na dříve poskytnutá data.
• Kódování nebo komprese: použití speciálních formátů nebo tokenizace ke zmenšení velikosti.

Tyto metody pomáhají snížit spotřebu tokenů a urychlit zpracování, což je důležité při práci s omezeními modelů a náklady na požadavky.