Использовались ли транзакции Kafka (exactly-once semantics)?

Да, в Apache Kafka поддерживаются транзакции, которые обеспечивают семантику exactly-once при записи сообщений. Это достигается с помощью транзакционного продюсера, который группирует несколько записей в одну атомарную операцию. В Kotlin, используя Kafka Producer API, можно настроить транзакции, чтобы гарантировать, что сообщения либо полностью записаны, либо не записаны вовсе, исключая дублирование при сбоях.

Пример инициализации транзакционного продюсера на Kotlin:

val props = Properties().apply {
    put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092")
    put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer::class.java.name)
    put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer::class.java.name)
    put(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG, "true")
    put(ProducerConfig.TRANSACTIONAL_ID_CONFIG, "my-transactional-id")
}

val producer = KafkaProducer<String, String>(props)
producer.initTransactions()

try {
    producer.beginTransaction()
    producer.send(ProducerRecord("topic", "key", "value"))
    // другие операции
    producer.commitTransaction()
} catch (e: Exception) {
    producer.abortTransaction()
}