Quali compiti hai svolto con Kafka? Come hai configurato le garanzie di consegna (exactly-once)?

Kafka viene generalmente utilizzato per risolvere compiti di organizzazione di trasmissione affidabile e scalabile di messaggi tra microservizi, elaborazione di eventi in tempo reale e costruzione di sistemi con alta capacità di throughput.

Per configurare la garanzia di consegna exactly-once, sono stati adottati i seguenti approcci:

• Attivare il supporto alle transazioni nel Kafka Producer per garantire l'invio atomico dei messaggi.
• Utilizzare un produttore idempotente (enable.idempotence=true) per evitare duplicazioni di messaggi.
• Sul lato del consumatore, applicare l'elaborazione con salvataggio degli offset all'interno delle transazioni per garantire che ogni messaggio venga elaborato una sola volta.

Esempio di configurazione di un produttore in Go usando la libreria sarama:

config := sarama.NewConfig()
config.Producer.Idempotent = true
config.Producer.RequiredAcks = sarama.WaitForAll
config.Producer.Transaction.ID = "my-transactional-id"

producer, err := sarama.NewSyncProducer(brokers, config)
if err != nil {
    panic(err)
}

// Inizia la transazione
producer.BeginTxn()

// Invia i messaggi
producer.SendMessage(&sarama.ProducerMessage{Topic: "topic", Value: sarama.StringEncoder("message")})

// Conferma la transazione
producer.CommitTxn()

In questo modo si ottiene la semantica exactly-once durante l'uso di Kafka.