Koje tehnike kompresije promptova poznajete (LLMLingua)?

Kompresija promptova su tehnike skraćivanja ili optimizacije ulaznih zahteva (promptova) za velike jezičke modele (LLM), s ciljem da se smanji njihova dužina i poveća efikasnost bez gubitka kvaliteta odgovora. Glavne metode:

• Uklanjanje suvišnih informacija: uklanjanje ponovljenih ili nebitnih delova teksta.
• Korišćenje skraćenica i akronima: zameniti duge fraze kratkim, razumljivim verzijama za model.
• Preformulisanje: prepisivanje zahteva u kompaktnijem obliku, uz očuvanje značenja.
• Korišćenje kontekstualnih linkova: umesto ponovnog navođenja informacija, korišćenje linkova na ranije pružene podatke.
• Kodiranje ili kompresija: primena specijalnih formata ili tokenizacije za smanjenje veličine.

Ove metode pomažu u smanjenju potrošnje tokena i ubrzavanju obrade, što je važno pri radu sa ograničenjima modela i troškovima zahteva.