Räägi mulle PagedAttention kohta vLLM-s.

vLLM-s PagedAttention on tähelepanu mehhanismi optimeerimine, mis on mõeldud töötama pikkade järjestuste töötlemiseks transformaators. Klassikalises self-attentionis kasvab arvutuslik keerukus ja mälu kasutus ruutlikult sisendi pikkusega, mis piirab skaleeritavust.

PagedAttention jagab järjestuse lehekülgedeks ja arvutab tähelepanu osadena, võimaldades tõhusamat mälu kasutamist ja arvutuste kiirendamist. See on eriti kasulik pikkade kontekstidega teksti genereerimisel, kus on vaja säilitada ja töödelda suurt hulka token'e.

See töötab umbes nii:

• Sisendjärjestus jaguneb fikseeritud suurusega lehekülgedeks.
• Tähelepanu arvutatakse iga lehekülje sees ja mõnede lehekülgede vahel, et säilitada kontekst.
• Kasutatakse optimeerimisi operatsioonide ja mälu kasutamise minimeerimiseks.

Sel viisil võimaldab PagedAttention vLLM-il skaleerida pikkadele kontekstidele ilma kulude eksponentsiaalse kasvuta.