В Kafka поддерживается идемпотентная отправка сообщений, которая гарантирует, что при повторной отправке одного и того же сообщения оно не будет записано в топик несколько раз. Это реализуется на уровне продюсера с помощью уникального producerId и sequence number для каждого сообщения.

Exactly-Once Semantics (EOS) — более широкий концепт, который обеспечивает, что сообщение будет обработано ровно один раз, включая передачу от продюсера к брокеру и далее к консюмеру, с учетом транзакций.

На практике я использовал идемпотентную отправку для обеспечения надежности записи сообщений без дубликатов. Для реализации EOS в Kafka требуется включить транзакции и использовать транзакционный продюсер и консюмеры с поддержкой транзакций.

Пример включения идемпотентности в Java Kafka Producer:

Properties props = new Properties();
props.put("enable.idempotence", "true");
KafkaProducer<String, String> producer = new KafkaProducer<>(props);

Для EOS дополнительно настраиваются транзакции:

props.put("transactional.id", "my-transactional-id");
producer.initTransactions();
producer.beginTransaction();
// отправка сообщений
producer.commitTransaction();

Таким образом, идемпотентность — это часть механизма Exactly-Once, но EOS требует более сложной настройки и поддержки транзакций.

Ты говорил про идемпотентную отправку или Exactly-Once в Kafka. Чем из них пользовался?