Hoe wordt de verwerking van verschillende berichten uitgevoerd bij het gebruik van drie Consumer in Kafka?

В Kafka при использовании трёх Consumer для обработки сообщений обычно создаётся Consumer Group, в которую входят эти три Consumer. Kafka распределяет партиции топика между Consumer внутри группы, обеспечивая, что каждое сообщение из партиции будет обработано только одним Consumer.

Таким образом, если топик имеет, например, 3 партиции, то каждый Consumer будет читать сообщения из своей партиции. Если партиций меньше, чем Consumer, некоторые Consumer будут простаивать. Если партиций больше, чем Consumer, некоторые Consumer будут читать из нескольких партиций.

Это позволяет параллельно обрабатывать сообщения, при этом избегая дублирования обработки.

Пример на Python с использованием библиотеки kafka-python:

from kafka import KafkaConsumer

consumer = KafkaConsumer(
    'my_topic',
    group_id='my_group',
    bootstrap_servers=['localhost:9092']
)

for message in consumer:
    print(f"Получено сообщение: {message.value.decode('utf-8')}")

Если запустить три таких Consumer с одинаковым group_id, Kafka распределит партиции между ними.