Какое правило существует для определения соотношения между количеством Consumer и Partition в системе Kafka?

В Apache Kafka существует правило, что количество Consumer в одной Consumer Group не может превышать количество Partition у топика, который они читают. Это связано с тем, что каждый Partition может быть обработан только одним Consumer из группы одновременно. Если Consumers больше, чем Partition, то лишние Consumers будут простаивать без работы.

Пример:

• Топик имеет 4 Partition
• В Consumer Group может быть максимум 4 активных Consumer

Таким образом, для эффективного использования ресурсов рекомендуется иметь количество Consumer не больше количества Partition.