Consumer group в Kafka — это группа потребителей, которые совместно читают данные из топиков. Каждый consumer в группе получает уникальный набор партиций для обработки, что обеспечивает параллелизм и масштабируемость.

Основные моменты:

Все consumer'ы в группе имеют одинаковый group.id.
Партиции топика распределяются между consumer'ами группы, чтобы избежать дублирования обработки.
Если consumer выходит из строя, его партиции перераспределяются между оставшимися.

Пример: если топик имеет 4 партиции и группа из 2 consumer'ов, каждый consumer будет читать данные из 2 партиций. Это позволяет обрабатывать данные параллельно и гарантирует, что каждое сообщение будет обработано ровно одним consumer'ом из группы.

Что такое consumer group в Kafka?