Что такое consumer group в Kafka?

Consumer group в Kafka — это группа потребителей, которые совместно читают данные из топика. Каждый партиция топика распределяется между потребителями группы так, что каждый партиция читается только одним потребителем из группы. Это позволяет масштабировать обработку сообщений и обеспечивать балансировку нагрузки. Если в группе несколько потребителей, они параллельно обрабатывают разные партиции, а если один потребитель падает, его партиции перераспределяются между оставшимися.

Пример на Go с использованием библиотеки sarama:

consumerGroup, err := sarama.NewConsumerGroup(brokers, "my-group", config)
// В обработчике реализуется логика обработки сообщений