Kas ir nepārtraukts batching un kā tas tiek īstenots vLLM/TGI?

Nepārtraukta partiju veidošana ir tehnika, kas apstrādā pieprasījumus mašīnmācīšanās modelim, kurā ienākošie inferenču pieprasījumi tiek nepārtraukti un dinamiski apkopoti partijās, lai maksimāli efektīvi izmantotu skaitļošanas resursus un samazinātu aizkavi. Tā vietā, lai gaidītu noteiktu laiku vai noteiktu pieprasījumu skaitu, sistēma pastāvīgi veido partijas no ienākošajiem pieprasījumiem un tās apstrādā.

vLLM un TGI (Text Generation Inference) gadījumā nepārtraukta partiju veidošana tiek īstenota ar asenhronu gaidīšanu un dinamisku partiju veidošanu. Piemēram, kad ienāk pieprasījums, tas tiek ievietots rindā, un dzinējs cenšas izveidot partiju no vairākiem pieprasījumiem, negaidot pārāk ilgi pirmo. Ja nav jaunu pieprasījumu, partija tiek uzsākta ar to, kas ir. Tas ļauj vienlaicīgi apstrādāt vairākus pieprasījumus, efektīvi izmantojot GPU un minimizējot aizkavi katram pieprasījumam.

Aptuveni tas izskatās šādi:

• Pieprasījumi ienāk rindā.
• Sistēma gaida, līdz sasniedz maksimālo partijas lielumu vai beidzas laika limits.
• Veidojas partija un tiek nosūtīta modelim.
• Rezultāti tiek atgriezti atpakaļ pieprasījumiem.

Šī pieeja ir īpaši noderīga transformatoriem, kur partiju apstrāde ir daudz efektīvāka nekā atsevišķu pieprasījumu apstrāde.