Kas yra nuolatinis batching ir kaip jis įgyvendinamas vLLM/TGI?

Nuolatinis partijų formavimas yra technika, skirta apdoroti užklausas į mašinų mokymosi modelį, kurioje įeinančios inferencijos užklausos nuolat ir dinamiškai kaupiasi į partijas, siekiant maksimaliai išnaudoti skaičiavimo išteklius ir sumažinti delsą. Vietoj to, kad lauktų fiksuotą laiką ar fiksuotą užklausų skaičių, sistema nuolat formuoja partijas iš gaunamų užklausų ir jas apdoroja.

vLLM ir TGI (Text Generation Inference) atveju, nuolatinis partijų formavimas įgyvendinamas per asinchroninį laukimą ir dinamišką partijų formavimą. Pavyzdžiui, kai atkeliauja užklausa, ji įdedama į eilę, ir variklis stengiasi suformuoti partiją iš kelių užklausų, nepertraukiamai užlaikydamas pirmąją. Jei nėra naujų užklausų, partija pradedama su turimu turiniu. Tai leidžia vienu metu apdoroti kelias užklausas, efektyviai naudojant GPU ir minimalizuojant delsą kiekvienai užklausai.

Maždaug tai atrodo taip:

• Užklausos atkeliauja į eilę.
• Sistema laukia, kol pasieks maksimalią partijų dydį arba pasibaigs laiko limitas.
• Formuojama partija ir siunčiama modeliui.
• Rezultatai grąžinami atgal užklausoms.

Šis požiūris ypač naudingas transformatoriams, kur partijų apdorojimas yra žymiai efektyvesnis nei atskiros užklausos.