В Apache Kafka consumer group — это группа потребителей (консьюмеров), которые совместно читают данные из топиков. Основная роль consumer group — обеспечить параллельную обработку сообщений и масштабируемость.

Каждое сообщение из партиции топика будет прочитано только одним консьюмером из группы, что позволяет распределить нагрузку и избежать дублирования обработки. Если в группе несколько консьюмеров, то партиции топика распределяются между ними.

Пример: если у вас топик с 4 партициями и 2 консьюмера в группе, то каждый консьюмер будет читать данные из 2 партиций. Если добавить третьего консьюмера, один из них останется без партиций, так как партиций меньше, чем консьюмеров.

Таким образом, consumer group обеспечивает:

Масштабируемость чтения данных
Гарантию, что каждое сообщение обработается ровно один раз в рамках группы
Возможность горизонтального расширения приложения-потребителя

Какова роль и предназначение consumer group в Apache Kafka?