Как доставить сообщения всем 4 инстансам при ограничении в 2 партиции? Паттерн standalone consumer

При наличии 2 партиций и 4 инстансов standalone consumer, чтобы доставить сообщения всем 4 инстансам, можно использовать следующий подход:

• Каждый инстанс подписывается на обе партиции, но поскольку партиции ограничены, то в стандартной модели Kafka каждая партиция может быть обработана только одним консьюмером из группы.
• Для доставки сообщений всем инстансам при ограничении партиций применяют паттерн broadcast или fan-out вне Kafka, например, через дополнительный слой:
  • Использовать отдельный брокер сообщений (например, Redis Pub/Sub, RabbitMQ), который будет дублировать сообщения для всех инстансов.
  • Либо каждый инстанс самостоятельно читает из Kafka, но с разными группами консьюмеров (standalone consumer), тогда каждый получит все сообщения, но это увеличит нагрузку на Kafka.

Таким образом, при паттерне standalone consumer и ограничении партиций для доставки сообщений всем 4 инстансам:

• Создайте 4 разных группы консьюмеров (по одному на инстанс), чтобы каждый получил все сообщения.
• Либо реализуйте дополнительный слой ретрансляции сообщений для broadcast.

Важно понимать, что Kafka не гарантирует доставку одного сообщения нескольким консьюмерам в одной группе, поэтому для мультидоставки нужны разные группы или внешние механизмы.