Sürekli toplama nedir ve statik toplamadan neden daha iyidir?

Sürekli toplama (continuous batching), verilerin işlenmesi için toplama (veri paketleri) oluşturmanın dinamik bir yaklaşımıdır; bu yöntemde, yeni istekler veya veriler, önceden belirlenmiş statik toplamalara göre, gelmeye devam ettikçe mevcut toplama eklenir.

Sürekli toplamanın statik toplama üzerindeki avantajları:

• Esneklik ve uyum sağlama: toplamalar gerçek zamanlı olarak oluşturulur, bu da mevcut kaynakların daha iyi kullanılmasını ve gecikmelerin azaltılmasını sağlar.
• Gecikmelerin azaltılması: istekler, tam bir statik toplama oluşturulmasını beklemeden, minimum boyuta ulaşır ulaşmaz veya zaman aşımı dolduğunda daha hızlı işlenir.
• İşlem kapasitesinin artırılması: isteklerin dinamik birleşimi, özellikle değişken yük altındaki sistemlerde hesaplama gücünün daha verimli kullanılmasını sağlar.

Büyük dil modelleri (LLM) bağlamında, sürekli toplama, çok sayıda isteğin işlenmesini optimize etmeye, yanıt süresini azaltmaya ve GPU veya TPU kullanımını artırmaya yardımcı olur.

Statik toplama ile karşılaştırıldığında, burada toplama boyutu ve içeriği önceden belirlenmiş olup, sürekli toplama daha uyarlanabilir olup, tahmin edilemeyen istek akışına sahip sistemler için uygundur.