Ποιο στοιχείο του Kafka διασφαλίζει την αποτροπή επανεγγραφής των ίδιων μηνυμάτων;

Στο Kafka, η αποτροπή της επανεγανάγνωσης των ίδιων μηνυμάτων εξασφαλίζεται μέσω του μηχανισμού των offsets και της διαχείρισής τους από την πλευρά του καταναλωτή.

Κάθε μήνυμα σε μια partition έχει ένα μοναδικό offset — έναν αριθμό σειράς. Ο καταναλωτής παρακολουθεί ποιο offset έχει ήδη διαβάσει και το επιβεβαιώνει (commit). Κατά την επανεκκίνηση, ο καταναλωτής ξεκινά την ανάγνωση από το τελευταίο επιβεβαιωμένο offset, αποφεύγοντας έτσι την επανεγανάγνωση ήδη επεξεργασμένων μηνυμάτων.

Επομένως, το συστατικό που είναι υπεύθυνο για την αποτροπή της επανεγανάγνωσης είναι ο ίδιος ο καταναλωτής, ο οποίος διαχειρίζεται τα commit offsets.