Обеспечение семантики exactly-once в Apache Kafka достигается за счет идемпотентности продюсера и транзакций.

Идемпотентность продюсера гарантирует, что повторная отправка одного и того же сообщения не приведет к дублированию в топике.

Технически идемпотентность реализуется так:

При инициализации продюсер получает уникальный producerId и поддерживает счетчик sequenceNumber для каждой партиции.
Каждое сообщение отправляется с увеличенным sequenceNumber.
Брокер проверяет producerId и sequenceNumber и отбрасывает дубликаты (сообщения с уже обработанным номером).

Для включения идемпотентности в Kafka Producer API нужно установить параметр enable.idempotence=true.

Пример настройки продюсера на Java:

Properties props = new Properties();
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
props.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, "true"); // Включаем идемпотентность

KafkaProducer<String, String> producer = new KafkaProducer<>(props);

Для полной exactly-once семантики при обработке сообщений (например, при чтении, обработке и записи в другой топик) используется транзакционный продюсер с параметрами transactional.id и методами initTransactions(), beginTransaction(), commitTransaction(), abortTransaction().

Таким образом, идемпотентность продюсера — это механизм контроля уникальности сообщений на уровне брокера с помощью producerId и sequenceNumber, предотвращающий дублирование при повторных отправках.

Как обеспечить exactly once семантику в Kafka? Как технически обеспечивается идемпотентность продюсера?