В Apache Kafka consumer group — это группа потребителей (consumer), которые совместно читают данные из топиков.

Основные моменты:

Каждый consumer в группе читает уникальный набор партиций топика, то есть партиции не пересекаются между потребителями внутри группы.
Это обеспечивает масштабируемость: увеличивая количество потребителей в группе, можно параллельно обрабатывать больше данных.
Если потребителей в группе меньше, чем партиций, некоторые потребители будут читать по нескольку партиций.
Если потребителей больше, чем партиций, лишние потребители будут простаивать.
Consumer group позволяет реализовать балансировку нагрузки и обеспечивает, что каждое сообщение будет обработано ровно одним потребителем из группы.

Пример: топик с 4 партициями и consumer group из 2 потребителей — каждый потребитель читает по 2 партиции.

Это ключевой механизм для построения отказоустойчивых и масштабируемых систем обработки потоков данных.

Что такое consumer groups в Kafka?