В Apache Kafka для реализации гарантии доставки сообщений с эффектом "точно один раз" (exactly-once semantics, EOS) используется комбинация нескольких механизмов:

Использование идемпотентного продюсера, который присваивает уникальные идентификаторы сообщениям, предотвращая дублирование при повторных отправках.
Транзакции Kafka, которые позволяют группировать отправку сообщений и подтверждение их обработки в атомарную операцию.
Консьюмеры с поддержкой транзакций, которые читают сообщения и подтверждают их обработку в рамках транзакции.

Пример использования идемпотентного продюсера в Java:

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("enable.idempotence", "true");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

KafkaProducer<String, String> producer = new KafkaProducer<>(props);

ProducerRecord<String, String> record = new ProducerRecord<>("topic", "key", "value");
producer.send(record);
producer.flush();
producer.close();

Для полного обеспечения exactly-once нужно использовать транзакции и правильно настраивать продюсер и консьюмер. Это позволяет избежать дублирования и потери сообщений при сбоях.

Имели ли вы опыт реализации гарантий доставки сообщений с эффектом 'точно один раз' в Apache Kafka?