Kafka: Was passiert bei einem Topic mit 3 Partitionen und 4 Konsumenten in einer Gruppe?

В Kafka, если у вас есть топик с 3 партициями и 4 консюмера в одной группе, то распределение будет следующим:

• Каждая партиция может быть назначена только одному консюмеру в группе.
• Поскольку партиций меньше, чем консюмеров, то 3 консюмера будут получать данные с партиций, а 4-й консюмер останется без назначенной партиции и будет простаивать.

Итог:

• Максимальное количество активных консюмеров, которые могут читать данные одновременно — равно количеству партиций.
• Избыточные консюмеры в группе не будут получать сообщения, пока не освободится партиция (например, если один из активных консюмеров отключится).

Это поведение важно учитывать при проектировании системы, чтобы не создавать избыточное количество консюмеров в группе, иначе часть из них будет простаивать без нагрузки.