Ποιες εργασίες εκτελέσατε με Kafka; Πώς ρυθμίσατε τις εγγυήσεις παράδοσης (exactly-once);

Το Kafka χρησιμοποιείται συνήθως για την επίλυση εργασιών οργάνωσης αξιόπιστης και κλιμακούμενης μετάδοσης μηνυμάτων μεταξύ μικροϋπηρεσιών, επεξεργασίας γεγονότων σε πραγματικό χρόνο και κατασκευής συστημάτων με υψηλή διαπεραστικότητα.

Για τη διαμόρφωση της εγγύησης παράδοσης exactly-once, χρησιμοποιήθηκαν οι ακόλουθες προσεγγίσεις:

• Ενεργοποίηση της υποστήριξης συναλλαγών στον Kafka Producer για να διασφαλιστεί η ατομική αποστολή μηνυμάτων.
• Χρήση ενός παραγωγού ιδιογενή (enable.idempotence=true) για την αποφυγή διπλότυπων μηνυμάτων.
• Στην πλευρά του καταναλωτή, εφαρμογή επεξεργασίας με αποθήκευση των offsets εντός των συναλλαγών, ώστε να διασφαλίζεται ότι κάθε μήνυμα επεξεργάζεται μόνο μία φορά.

Παράδειγμα διαμόρφωσης παραγωγού σε Go με τη βιβλιοθήκη sarama:

config := sarama.NewConfig()
config.Producer.Idempotent = true
config.Producer.RequiredAcks = sarama.WaitForAll
config.Producer.Transaction.ID = "my-transactional-id"

producer, err := sarama.NewSyncProducer(brokers, config)
if err != nil {
    panic(err)
}

// Ξεκινάμε τη συναλλαγή
producer.BeginTxn()

// Αποστολή μηνυμάτων
producer.SendMessage(&sarama.ProducerMessage{Topic: "topic", Value: sarama.StringEncoder("message")})

// Επιβεβαίωση συναλλαγής
producer.CommitTxn()

Με αυτόν τον τρόπο, επιτυγχάνεται η σημασιολογία exactly-once κατά τη χρήση του Kafka.