Что такое consumer group в Kafka? Чем отличается поведение при размещении консьюмеров в одну или разные группы?

Consumer group в Kafka — это логическая группа консьюмеров, которые совместно читают данные из одного топика. Основные особенности:

• Все консьюмеры в одной группе делят партиции топика между собой, каждая партиция читается только одним консьюмером из группы.
• Если консьюмеров в группе меньше, чем партиций, некоторые консьюмеры будут читать по несколько партиций.
• Если консьюмеров больше, чем партиций, лишние консьюмеры будут простаивать.

Отличия при размещении консьюмеров:

• В одной группе: сообщения из каждой партиции обрабатываются только одним консьюмером, что обеспечивает балансировку нагрузки и гарантирует, что каждое сообщение будет обработано ровно один раз.
• В разных группах: каждый консьюмер получает полную копию всех сообщений из топика, так как группы независимы. Это полезно, если разные сервисы или компоненты должны обрабатывать одни и те же данные независимо.

Пример:

• Группа A с 3 консьюмерами и топик с 6 партициями — каждый консьюмер будет читать по 2 партиции.
• Группа B с 1 консьюмером — он прочитает все 6 партиций.

Таким образом, consumer group позволяет масштабировать обработку и контролировать параллелизм.