რომელ პრომპტების კომპრესიის ტექნიკებს იცნობთ (LLMLingua)?

პრომპტების შეკუმშვა — ეს ტექნიკებია, რომლებიც მიზნად ისახავს დიდი ენის მოდელებისთვის (LLM) შესატანი მოთხოვნების (prompt) შემცირებას ან ოპტიმიზაციას, რათა მათი სიგრძე შეამციროს და ეფექტურობა გაზარდოს, ხარისხის დანაკარგის გარეშე. ძირითადი მეთოდები:

• მონაცემების გადაჭარბების ან არასაჭირო ნაწილის ამოღება: ტექსტიდან გამეორებული ან არასაჭირო ნაწილების ამოღება.
• შოკოლადების და აკრონიმების გამოყენება: გრძელი ფრაზების შემცირება მოკლე და მოდელისთვის გასაგები ვერსიებით.
• განახლებული ფორმულირება: მოთხოვნის უფრო კოპმაქტური ფორმით გადაწერა, მნიშვნელობის შენარჩუნებით.
• კონტექსტუალური ბმულების გამოყენება: ინფორმაციის გამეორების ნაცვლად, ბმულების გამოყენება ადრე მიწოდებულ მონაცემებზე.
• კოდირება ან შეკუმშვა: სპეციალური ფორმატების ან ტოკენიზაციის გამოყენება ზომის შემცირების მიზნით.

ეს მეთოდები ეხმარება ტოკენების მოხმარების შემცირებას და დამუშავების სიჩქარის გაზრდას, რაც მნიშვნელოვანია მოდელების შეზღუდვებთან და მოთხოვნების ღირებულებებთან მუშაობისას.