Kokias promptų suspaudimo technikas žinote (LLMLingua)?

Promptų suspaudimas yra technikos, skirtos sutrumpinti arba optimizuoti įvesties užklausas (promptus) dideliems kalbos modeliams (LLM), siekiant sumažinti jų ilgį ir padidinti efektyvumą be kokybės praradimo. Pagrindiniai metodai:

• Pasikartojančios arba nereikšmingos informacijos pašalinimas: iš teksto pašalinti pasikartojančias arba nereikšmingas dalis.
• Trumpinimų ir akronimų naudojimas: pakeisti ilgas frazes trumpomis, modeliui suprantamomis versijomis.
• Performulavimas: užklausos perrašymas glaustesniu būdu, išlaikant prasmę.
• Konteksto nuorodų naudojimas: vietoje informacijos kartojimo naudoti nuorodas į anksčiau pateiktus duomenis.
• Koduoti arba suspausti: taikyti specialius formatus arba tokenizaciją, siekiant sumažinti dydį.

Šie metodai padeda sumažinti tokenų suvartojimą ir pagreitinti apdorojimą, kas yra svarbu dirbant su modelių apribojimais ir užklausų kainomis.