Welke taken heb je met Kafka uitgevoerd? Hoe heb je de leveringsgaranties (exactly-once) ingesteld?

Kafka wordt meestal gebruikt om taken op te lossen zoals het organiseren van betrouwbare en schaalbare berichtoverdracht tussen microservices, het verwerken van gebeurtenissen in realtime en het bouwen van systemen met hoge doorvoer.

Om de garantie van precies één keer levering (exactly-once) te configureren, werden de volgende benaderingen gebruikt:

• Ondersteuning voor transacties inschakelen in Kafka Producer om een atomair berichtverzending te garanderen.
• Een idempotente producer gebruiken (enable.idempotence=true) om duplicatie van berichten te voorkomen.
• Aan de kant van de consument verwerking toepassen met opslag van offsets binnen transacties om te garanderen dat elk bericht precies één keer wordt verwerkt.

Voorbeeld van het configureren van een producer in Go met behulp van de sarama-bibliotheek:

config := sarama.NewConfig()
config.Producer.Idempotent = true
config.Producer.RequiredAcks = sarama.WaitForAll
config.Producer.Transaction.ID = "my-transactional-id"

producer, err := sarama.NewSyncProducer(brokers, config)
if err != nil {
    panic(err)
}

// Transactie starten
producer.BeginTxn()

// Berichten verzenden
producer.SendMessage(&sarama.ProducerMessage{Topic: "topic", Value: sarama.StringEncoder("message")})

// Transactie bevestigen
producer.CommitTxn()

Op deze manier wordt de exactly-once semantiek bereikt bij het werken met Kafka.