Как обеспечить exactly-once семантику в Kafka?

Обеспечение exactly-once семантики в Kafka достигается с помощью транзакций и идемпотентного продюсера. Основные моменты:

• Включить идемпотентность у продюсера (enable.idempotence=true), чтобы избежать дублирования сообщений при повторных отправках.
• Использовать транзакции (initTransactions(), beginTransaction(), commitTransaction()), чтобы гарантировать атомарность записи нескольких сообщений.
• Консьюмеры должны использовать read_committed режим, чтобы читать только зафиксированные транзакции.

Пример инициализации транзакционного продюсера на Java:

Properties props = new Properties();
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
props.put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, "true");
props.put(ProducerConfig.TRANSACTIONAL_ID_CONFIG, "my-transactional-id");

KafkaProducer<String, String> producer = new KafkaProducer<>(props, new StringSerializer(), new StringSerializer());
producer.initTransactions();

try {
    producer.beginTransaction();
    producer.send(new ProducerRecord<>("topic", "key", "value"));
    // другие операции
    producer.commitTransaction();
} catch (Exception e) {
    producer.abortTransaction();
}

Таким образом достигается exactly-once доставка и обработка сообщений в распределенной системе.