Σε ποιο σημείο μέσα στο Kafka αποθηκεύεται η τιμή Offset για τα καταναλωμένα μηνύματα;

Στο Apache Kafka, η τιμή Offset για τα καταναλωμένα μηνύματα αποθηκεύεται σε ένα ειδικό εσωτερικό θέμα που ονομάζεται __consumer_offsets. Αυτό το θέμα διατηρεί πληροφορίες σχετικά με τη τρέχουσα θέση κάθε καταναλωτή (ομάδα καταναλωτών) σε κάθε διαμέρισμα (partition) του θέματος.

Έτσι, το Kafka δεν αποθηκεύει το offset τοπικά στον πελάτη, αλλά κεντρικά στο cluster, επιτρέποντας στους καταναλωτές να ανακάμψουν και να συνεχίσουν την ανάγνωση από την απαιτούμενη θέση.

Επιπλέον, οι πελάτες μπορούν να αποθηκεύουν το offset χειροκίνητα (commit) ή αυτόματα, ανάλογα με τις ρυθμίσεις του καταναλωτή.

Παράδειγμα σε Go με τη βιβλιοθήκη confluent-kafka-go για το commit offsets:

consumer.CommitMessage(message)

όπου message είναι το διαβασμένο μήνυμα, του οποίου το offset θα αποθηκευτεί.