Wat is een consumer group in Kafka?

De consumentengroep in Kafka is een groep consumenten die gezamenlijk gegevens uit een topic lezen. Elke partitie van het topic wordt verdeeld onder de consumenten van de groep, zodat elke partitie slechts door één consument uit de groep wordt gelezen. Dit maakt het mogelijk om de berichtverwerking te schalen en een load balancing te garanderen. Als er meerdere consumenten in de groep zijn, verwerken ze parallel verschillende partities, en als een consument uitvalt, worden zijn partities opnieuw verdeeld onder de overgeblevenen.

Voorbeeld in Go met de sarama-bibliotheek:

consumerGroup, err := sarama.NewConsumerGroup(brokers, "my-group", config)
// De logica voor het verwerken van berichten wordt geïmplementeerd in de handler