Jakie techniki kompresji promptów znasz (LLMLingua)?

Kompresja promptów to techniki skracania lub optymalizacji zapytań wejściowych (promptów) dla dużych modeli językowych (LLM), aby zmniejszyć ich długość i zwiększyć wydajność bez utraty jakości odpowiedzi. Główne metody:

• Usuwanie nadmiarowych informacji: eliminacja powtarzających się lub nieistotnych części tekstu.
• Użycie skrótów i akronimów: zamiana długich fraz na krótkie, zrozumiałe dla modelu wersje.
• Przekształcanie: przepisanie zapytania w bardziej zwięzłej formie, zachowując sens.
• Użycie odnośników kontekstowych: zamiast powtarzania informacji, używanie odnośników do wcześniej dostarczonych danych.
• Kodowanie lub kompresja: stosowanie specjalnych formatów lub tokenizacji w celu zmniejszenia rozmiaru.

Metody te pomagają zmniejszyć zużycie tokenów i przyspieszyć przetwarzanie, co jest ważne przy pracy z ograniczeniami modeli i kosztami zapytań.