Was ist eine Consumer Group in Kafka?

Die Consumer-Gruppe in Kafka ist eine Gruppe von Konsumenten, die gemeinsam Daten aus einem Topic lesen. Jede Partition des Topics wird unter den Konsumenten der Gruppe so verteilt, dass jede Partition nur von einem Konsumenten der Gruppe gelesen wird. Dies ermöglicht eine Skalierung der Nachrichtenverarbeitung und sorgt für eine Lastenverteilung. Wenn mehrere Konsumenten in der Gruppe sind, verarbeiten sie parallel verschiedene Partitionen, und wenn ein Konsument ausfällt, werden seine Partitionen unter den verbleibenden neu verteilt.

Beispiel in Go mit der Bibliothek sarama:

consumerGroup, err := sarama.NewConsumerGroup(brokers, "my-group", config)
// Die Logik zur Nachrichtenverarbeitung wird im Handler implementiert