O que é um grupo de consumidores no Kafka? O que são partições e para que servem?

No Kafka, o grupo de consumidores é um grupo de consumidores que lêem dados do tópico em conjunto. Cada consumidor no grupo recebe um conjunto único de partições para processar, o que permite escalar a leitura e garantir um equilíbrio de carga.

As partições são divisões lógicas do tópico que permitem paralelizar a escrita e leitura de mensagens. Cada partição armazena um fluxo ordenado de mensagens.

Para que servem as partições:

• Permitem escalar o desempenho através de processamento paralelo.
• Garantem a ordenação das mensagens dentro da partição.
• Permitem que o grupo de consumidores distribua a carga entre os consumidores.

Exemplo: se um tópico tem 4 partições e há 2 consumidores no grupo, cada um receberá 2 partições para leitura.