Mi az a vLLM és miért van szükség a PagedAttention-re?

vLLM egy nagy teljesítményű motor nagy nyelvi modellek (LLM) inferenciájához, amelyet az erőforrások hatékony felhasználására és skálázhatóságára optimalizáltak. Lehetővé teszi nagy modellek futtatását kevesebb memória- és időráfordítással.

PagedAttention egy figyelem (attention) optimalizációs technika a transzformátorokban, amelyet a vLLM-ben használnak. Hosszú szekvenciákat oldalakon (chunk-okon) oszt fel, hogy csökkentse a memóriaigényeket az attention számításakor, miközben megőrzi a modell minőségét. Ez különösen hasznos nagyon hosszú kontextusok feldolgozásánál, ahol a klasszikus attention mechanizmus túl erőforrás-igényes.

Így a PagedAttention segít a vLLM-nek hatékonyan skálázni a nagy modellek inferenciáját, csökkentve a memóriafogyasztást és gyorsítva a számításokat, jelentős minőségromlás nélkül.