O que é um grupo de consumidores no Kafka?

O grupo de consumidores no Kafka é um grupo de consumidores que lêem dados de um tópico em conjunto. Cada partição do tópico é distribuída entre os consumidores do grupo de modo que cada partição seja lida apenas por um consumidor do grupo. Isto permite escalar o processamento de mensagens e garantir um balanceamento de carga. Se houver vários consumidores no grupo, eles processam paralelamente diferentes partições, e se um consumidor falhar, as suas partições são redistribuídas entre os restantes.

Exemplo em Go usando a biblioteca sarama:

consumerGroup, err := sarama.NewConsumerGroup(brokers, "my-group", config)
// A lógica de processamento de mensagens é implementada no gestor