Для защиты от дублирующихся сообщений в Kafka и обеспечения идемпотентности можно использовать несколько подходов:

Идемпотентный продюсер Kafka — начиная с Kafka 0.11, продюсер может быть настроен как идемпотентный (enable.idempotence=true). Это гарантирует, что повторная отправка одного и того же сообщения не приведёт к дублированию в топике.
Использование уникальных ключей сообщений — если сообщения имеют уникальный ключ, можно настроить топик с ключом партиционирования, чтобы гарантировать порядок и уникальность.
Обработка на стороне консюмера — хранить идентификаторы обработанных сообщений (например, в базе данных или кэше) и игнорировать повторные сообщения с тем же ID.
Транзакции Kafka — использовать транзакционный продюсер и консюмер, чтобы обеспечить атомарность записи и обработки сообщений.

Пример настройки идемпотентного продюсера на Java:

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("enable.idempotence", "true"); // Включаем идемпотентность

KafkaProducer<String, String> producer = new KafkaProducer<>(props);

Таким образом, идемпотентность достигается на уровне продюсера, а на стороне потребителя можно дополнительно реализовать проверку уникальности для дополнительной гарантии.

Как защититься от дублирующихся сообщений в Kafka (идемпотентность)?