Qual é o papel dos grupos de consumidores no sistema Kafka e por que são necessários?

Os grupos de consumidores no Kafka permitem que vários consumidores leiam conjuntamente dados de um tópico, garantindo escalabilidade e balanceamento de carga.

Cada grupo de consumidores recebe o fluxo completo de mensagens, mas dentro do grupo, cada partição do tópico é lida apenas por um consumidor. Isso permite processar dados em paralelo sem duplicar trabalho.

Para que servem:

• Escalabilidade no processamento: aumentando o número de consumidores no grupo, pode-se acelerar o processamento de mensagens.
• Garantia de resistência a falhas: se um consumidor falhar, outro assumirá suas partições.
• Divisão de lógica: diferentes grupos podem processar os mesmos dados de forma independente.

Exemplo: se um tópico tem 4 partições e um grupo de 2 consumidores, cada um lerá 2 partições.