Что такое consumer group в Kafka и как это связано с партициями?

Consumer group в Kafka — это группа потребителей (consumer), которые совместно читают данные из топика. Каждый consumer в группе получает уникальный набор партиций топика для обработки, что обеспечивает параллелизм и масштабируемость.

Связь с партициями:

• Топик в Kafka разбит на партиции.
• Каждая партиция может быть прочитана только одним consumer из одной группы одновременно.
• Если в группе больше consumers, чем партиций, некоторые consumers будут простаивать.
• Если consumers меньше, чем партиций, некоторые consumers будут читать несколько партиций.

Таким образом, consumer group позволяет распределить нагрузку по партициям и обеспечить балансировку потребления сообщений.