ინფერენციაში პრეფიქს კეშინგ რა არის?

დიდი ენობრივი მოდელების (LLM) inference-ში prefix caching არის ოპტიმიზაციის ტექნიკა, რომლის დროსაც უკვე დამუშავებული ტოკენებისთვის განთავსებული შუა გამოთვლები ინახება და მეორედ გამოიყენება შემდეგი ტოკენის გენერაციისას.

ტექსტის გენერაციის დროს, მოდელი სექვენტულად processing თითოეულ ტოკენს და გამოთვლის დამალულ მდგომარეობებს. ნაცვლად იმისა, რომ თავიდან გამოთვალოს ყველა მდგომარეობა მთელი სექვენტისთვის ახალი ტოკენის დამატებისას, prefix caching საშუალებას აძლევს შეინახოს შედეგები პრეფიქსისთვის (უკვე გენერირებული ნაწილისთვის) და გამოიყენოს ისინი პირდაპირ.

ეს მნიშვნელოვნად აჩქარებს inference-ს, ამცირებს გამოთვლით დატვირთვას და ლატენციას, განსაკუთრებით გრძელი სექვენტების გენერაციის დროს.

დაახლოებით ასე გამოიყურება:

• ნაბიჯ t-ზე, გამოთვლილია მდგომარეობები 1..t ტოკენებისთვის.
• გადასვლის დროს ნაბიჯ t+1-ზე, მდგომარეობები 1..t-დან იღება cache-დან, და მხოლოდ გამოთვლილია მდგომარეობა t+1-ისთვის.

ამიტომ, prefix caching არის ძირითადი ტექნიკა ეფექტიანი და სწრაფი გამოსავლისთვის LLM-ებში.