Как считать throughput vs latency LLM-сервинга?

Throughput и latency — ключевые метрики при оценке производительности LLM-сервинга (Large Language Model).

• Latency — время отклика модели на один запрос, обычно измеряется в миллисекундах или секундах. Включает время обработки запроса, генерации ответа и передачи данных.
• Throughput — количество запросов, которые модель может обработать за единицу времени (например, запросов в секунду).

Для измерения:

1. Latency

   • Отправьте одиночный запрос к модели и замерьте время от отправки до получения ответа.
   • Для более точной оценки сделайте несколько запросов и возьмите среднее или перцентиль (например, 95-й).

2. Throughput

   • Запустите нагрузочное тестирование с параллельными запросами.
   • Измерьте общее количество успешно обработанных запросов за фиксированный промежуток времени.

Важно учитывать, что при увеличении нагрузки latency может расти из-за очередей и ограничений ресурсов.

Для оптимизации сервинга часто балансируют между latency и throughput, например, используя батчинг запросов, кэширование или масштабирование инфраструктуры.