Kuras prompta saspiešanas tehnikas jūs zināt (LLMLingua)?

Promptu kompresija ir tehnika, kas paredzētas saīsināt vai optimizēt ievades pieprasījumus (promptus) lieliem valodu modeļiem (LLM), lai samazinātu to garumu un palielinātu efektivitāti bez kvalitātes zuduma. Galvenās metodes:

• Pārlieku vai nevēlamas informācijas noņemšana: no teksta izņemt atkārtotas vai nenozīmīgas daļas.
• Saīsinājumu un akronīmu izmantošana: aizstāt garas frāzes ar īsākām, modeļa saprotamām versijām.
• Pārformulēšana: pieprasījuma pārrakstīšana kompakti, saglabājot jēgu.
• Konteksta saites izmantošana: vietā, lai atkārtotu informāciju, izmantot saites uz iepriekš sniegtajiem datiem.
• Kodu vai kompresiju: piemērot īpašus formātus vai tokenizāciju, lai samazinātu izmēru.

Šīs metodes palīdz samazināt tokenu patēriņu un paātrināt apstrādi, kas ir svarīgi, strādājot ar modeļu ierobežojumiem un pieprasījumu izmaksām.