Čo je vLLM a na čo slúži PagedAttention?

vLLM je vysoko výkonný motor pre inferenciu veľkých jazykových modelov (LLM), optimalizovaný pre efektívne využívanie zdrojov a škálovateľnosť. Umožňuje spúšťať veľké modely s menšou spotrebou pamäti a času.

PagedAttention je technika optimalizácie pozornosti (attention) v transformeroch, používaná v vLLM. Rozdeľuje dlhé sekvencie na stránky (kousky), aby znížila požiadavky na pamäť pri výpočte pozornosti, pričom zachováva kvalitu modelu. To je obzvlášť užitočné pre spracovanie veľmi dlhých kontextov, kde sa klasický mechanizmus pozornosti stáva príliš náročným na zdroje.

Týmto spôsobom pomáha PagedAttention vLLM efektívne škálovať inferenciu veľkých modelov, znižovať spotrebu pamäti a zrýchľovať výpočty, bez významnej straty kvality.