В Kafka (или аналогичных системах) по умолчанию каждый экземпляр микросервиса, входящий в одну группу потребителей (consumer group), получает часть сообщений из топика — сообщения распределяются между подами, чтобы избежать дублирующей обработки.

Если нужно, чтобы каждый экземпляр получал все сообщения из топика, то у каждого экземпляра должна быть своя уникальная группа потребителей. Тогда каждый экземпляр будет читать все сообщения полностью.

Однако это не масштабируемо для обработки нагрузки, так как каждый экземпляр обрабатывает весь поток.

Для распределения обработки между подами в Kubernetes обычно:

Все поды объединяются в одну consumer group.
Kafka распределяет партиции топика между подами, обеспечивая, что каждое сообщение обрабатывается ровно одним подом.

Таким образом, масштабирование достигается за счет увеличения числа партиций и количества подов в группе.

Пример настройки consumer group в Java с Kafka:

Properties props = new Properties();
props.put("group.id", "my-consumer-group"); // одинаковый group.id для всех подов
// ... другие настройки
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Collections.singletonList("my-topic"));

Если хотите, чтобы каждый экземпляр читал все сообщения, задайте уникальный group.id для каждого:

props.put("group.id", UUID.randomUUID().toString());

Но это приведет к дублированию обработки.

В Kubernetes для управления количеством подов и их масштабированием используют Deployment с нужным числом реплик.

Можно ли настроить так, чтобы каждый экземпляр микросервиса вычитывал все сообщения из топика? И как распределить обработку между подами в Kubernetes?