vLLM'dagi PagedAttention haqida gapirib bering.

vLLM'da PagedAttention — bu uzun ketma-ketliklarni qayta ishlash uchun diqqat mexanizmini optimallashtirish. Klassik self-attention'da, hisoblash murakkabligi va xotira iste'moli kirish uzunligi bilan kvadratga o'sadi, bu esa kengaytirishni cheklaydi.

PagedAttention ketma-ketlikni sahifalarga bo'lib, diqqatni qism-qism hisoblaydi, bu esa xotirani samarali ishlatish va hisoblashlarni tezlashtirish imkonini beradi. Bu, ayniqsa, uzun kontekstli matn yaratishda, ko'p tokenlarni saqlash va ishlash zarur bo'lganda foydalidir.

Taxminan shunday ishlaydi:

• Kirish ketma-ketligi belgilangan o'lchamdagi sahifalarga bo'linadi.
• Diqqat har bir sahifa ichida va ba'zi sahifalar o'rtasida hisoblanadi, shunda kontekst saqlanadi.
• Operatsiyalar va xotira iste'molini minimallashtirish uchun optimallashtirishlar qo'llanadi.

Shu tarzda, PagedAttention vLLM'ga uzun kontekstlarga kengayish imkonini beradi, bu esa xarajatlarning eksponensial o'sishini oldini oladi.