vLLM-деги PagedAttention жөнүндө мага айтып бер.

vLLM-деги PagedAttention — бул трансформаторлордо узун тизмектерди иштетүү үчүн көңүл буруу механизмин оптималдаштыруу. Классикалык self-attentionде, эсептөө татаалдыгы жана эс тутумдун керектөөсү кириш узундугуна карата квадратик өсөт, бул масштабдуулукту чектейт.

PagedAttention тизмекти баракчаларга бөлөт жана көңүл бурууну бөлүктөргө эсептейт, бул эс тутумду эффективдүү колдонууга жана эсептөөлөрдү тездетүүгө мүмкүндүк берет. Бул узун контекст менен текст түзүүдө, көп токендерди сактоо жана иштетүү керек болгондо өзгөчө пайдалуу.

Жумушу болжол менен мындай:

• Кириш тизмеги белгилүү өлчөмдөгү баракчаларга бөлүнөт.
• Көңүл буруу ар бир баракчанын ичинде жана айрым баракчалардын ортосунда эсептелет, контекст сакталсын деп.
• Операциялар жана эс тутумдун керектөөсүн минималдаштыруу үчүн оптимизациялар колдонулат.

Ошентип, PagedAttention vLLM-ге узун контексттерге масштабдоого мүмкүндүк берет, чыгымдардын экспоненциалдуу өсүшүн алдын алат.