vLLM nədir və PagedAttention nə üçün lazımdır?

vLLM — bu yüksək performanslı böyük dil modellərinin (LLM) çıxarış üçün motorudur, resursların səmərəli istifadəsi və miqyaslandırma üçün optimallaşdırılmışdır. O, böyük modelləri daha az yaddaş və vaxt sərfiyyatı ilə işlətməyə imkan verir.

PagedAttention — bu, vLLM-də istifadə olunan diqqət (attention) mexanizminin optimallaşdırılması texnikasıdır. Uzun ardıcıllıqları səhifələrə (parçalar) bölür, diqqət hesablaması zamanı yaddaş tələblərini azaldır və modelin keyfiyyətini qoruyur. Bu, xüsusən çox uzun kontekstlərin işlənməsində, klassik diqqət mexanizmi çox resurs tələb etdikdə çox faydalıdır.

Beləliklə, PagedAttention vLLM-in böyük modellərin çıxarışını səmərəli miqyaslandırmasına kömək edir, yaddaş istifadəsini azaldır və hesablamaları sürətləndirir, əhəmiyyətli keyfiyyət itkisi olmadan.