Inferensda prefiks kechirish nima?

Katta til modellari (LLM) inference-da prefix caching texnikasi, avvalgi tokenlar uchun hisoblangan o‘rta hisoblashlarni saqlash va keyingi tokenni generatsiya qilishda qayta ishlatish texnikasidir.

Matn yaratishda model har bir tokenni ketma-ket ishlaydi va yashirin holatlarni hisoblaydi. Yangi token qo‘shilganda, butun ketma-ketlik uchun holatlarni qayta hisoblash o‘rniga, prefix caching avvalgi qism uchun natijalarni saqlash va ularni to‘g‘ridan-to‘g‘ri ishlatish imkonini beradi.

Bu, ayniqsa, uzun ketma-ketliklarni yaratishda hisoblash yukini va kechikishni sezilarli darajada kamaytiradi.

Taxminan shunday ko‘rinadi:

• t bosqichida, 1..t tokenlar uchun holatlar hisoblanadi.
• t+1 bosqichiga o‘tishda, 1..t tokenlar uchun holatlar cache-dan olinadi va faqat t+1 token uchun holat hisoblanadi.

Shu sababli, prefix caching LLM-larda samarali va tez chiqarish uchun asosiy texnikadir.