Что такое continuous batching и как его реализуют в vLLM/TGI?

Компании, где спрашивали

VK Cloud