Kafka бір тұтынушы тобына бірнеше подпен қалай жұмыс істейді? Бірі хабарды оқыса, екіншісі көре ме?

В Kafka consumer group — это группа потребителей, которые совместно читают данные из топиков. Каждый partition топика может быть назначен только одному consumer в группе. Если у вас несколько подов (экземпляров потребителя) в одной consumer group, то Kafka распределяет партиции между ними.

Это значит, что если первый под прочитал сообщение из своего partition, второй под, который читает другой partition, этого сообщения не увидит, потому что каждое сообщение доставляется только одному consumer в группе. Таким образом, сообщения не дублируются между подами в одной consumer group.

Пример: если топик имеет 4 партиции, а в группе 2 пода, то каждый под будет читать по 2 партиции. Сообщения из партиций, назначенных первому поду, не попадут ко второму и наоборот.