Какво е vLLM и защо е необходим PagedAttention?

vLLM е високоефективен двигател за инференс на големи езикови модели (LLM), оптимизиран за ефективно използване на ресурсите и мащабируемост. Той позволява изпълнение на големи модели с по-малко памет и време.

PagedAttention е техника за оптимизация на вниманието (attention) в трансформърите, използвана във vLLM. Тя разделя дълги последователности на страници (парчета), за да намали изискванията към паметта при изчисляването на вниманието, като същевременно запазва качеството на модела. Това е особено полезно при обработка на много дълги контексти, където класическият механизъм за внимание става прекалено ресурсно изискващ.

По този начин, PagedAttention помага на vLLM ефективно да мащабира инференса на големи модели, намалявайки потреблението на памет и ускорявайки изчисленията без значителна загуба на качество.