Qual é a regra para determinar a relação entre o número de consumidores e partições no sistema Kafka?

No Apache Kafka, existe uma regra que estabelece que o número de Consumers num mesmo Grupo de Consumers não pode exceder o número de Partitions no tópico que eles leem. Isto deve-se ao facto de que cada Partition só pode ser processada por um Consumer do grupo de cada vez. Se houver mais Consumers do que Partitions, os Consumers adicionais ficarão inativos.

Exemplo:

• O tópico tem 4 Partitions
• No Grupo de Consumers pode haver no máximo 4 Consumers ativos

Assim, para uma utilização eficiente dos recursos, recomenda-se que o número de Consumers não seja superior ao número de Partitions.