Параметр batch.size в Kafka Producer определяет максимальный размер буфера (в байтах), в который накапливаются сообщения перед отправкой на сервер. Это позволяет отправлять сообщения пакетами, что повышает пропускную способность и снижает нагрузку на сеть.

Как работает Producer с batch.size:

Producer собирает сообщения в буфер до тех пор, пока общий размер не достигнет batch.size или не истечёт таймаут (например, linger.ms).
После этого пакет сообщений отправляется на брокер Kafka.
Если буфер не заполняется быстро, таймаут гарантирует, что сообщения не будут задерживаться слишком долго.

Пример настройки Producer в Java:

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("batch.size", 16384); // 16 KB
props.put("linger.ms", 5); // ждать до 5 мс для накопления сообщений

KafkaProducer<String, String> producer = new KafkaProducer<>(props);

Таким образом, batch.size помогает оптимизировать производительность за счёт пакетной отправки сообщений.

Зачем нужен batch.size? Как работает Producer?