Когда мы можем вызывать commit у Producer? Как избежать дублей при ручном коммите батча?

В Kafka Producer метод commit не вызывается, так как коммитом смещений занимается Consumer. Если речь о Consumer, то commit вызывается после успешной обработки сообщений, чтобы зафиксировать, что сообщения прочитаны и обработаны.

Чтобы избежать дублей при ручном коммите батча:

• Обрабатывайте весь батч сообщений атомарно.
• После успешной обработки всех сообщений батча вызывайте commit.
• Если обработка прерывается, не вызывайте commit, чтобы при повторном запуске обработать те же сообщения.

Пример для Kafka Consumer на Python с использованием библиотеки kafka-python:

from kafka import KafkaConsumer

consumer = KafkaConsumer('topic', enable_auto_commit=False)

for messages in consumer:
    try:
        for message in messages:
            process(message)  # Ваша логика обработки
        consumer.commit()  # Ручной коммит после успешной обработки батча
    except Exception:
        # Ошибка обработки, не коммитим, чтобы избежать потери данных
        pass

Таким образом, commit вызывается только после успешной обработки всего батча, что минимизирует дублирование сообщений.