Πώς αποθηκεύει ο καταναλωτής στο Kafka τη θέση του στο ρεύμα δεδομένων;

Στο Apache Kafka, ο καταναλωτής αποθηκεύει τη θέση του στη ροή δεδομένων χρησιμοποιώντας μετατοπίσεις (offsets). Το offset είναι ο αριθμός σειράς του μηνύματος στη διαίρεση ενός θέματος.

Ο καταναλωτής κάνει περιοδικά commit (αποθήκευση) της τρέχουσας μετατόπισης, ώστε να μπορεί να συνεχίσει την ανάγνωση από το σωστό σημείο σε περίπτωση επανεκκίνησης ή σφάλματος. Το commit μπορεί να είναι αυτόματο (auto-commit) ή χειροκίνητο.

Στους πελάτες Kafka για Go (π.χ., sarama), η μετατόπιση αποθηκεύεται συνήθως σε ένα ειδικό θέμα __consumer_offsets, που διαχειρίζεται η ίδια η Kafka. Αυτό επιτρέπει σε πολλούς καταναλωτές σε μια ομάδα να συντονίζουν την ανάγνωση και να διασφαλίζουν ότι κάθε μήνυμα επεξεργάζεται ακριβώς μία φορά.

Παράδειγμα χειροκίνητου commit μετατόπισης σε Go με sarama:

partitionConsumer, _ := consumer.ConsumePartition(topic, partition, sarama.OffsetNewest)

for msg := range partitionConsumer.Messages() {
    // επεξεργασία μηνύματος
    fmt.Println(string(msg.Value))
    // commit μετατόπισης
    consumer.MarkOffset(msg, "")
}

Έτσι, η θέση του καταναλωτή στη ροή είναι η τελευταία δεσμευμένη μετατόπιση, η οποία αποθηκεύεται στο Kafka και επιτρέπει την επανεκκίνηση από το σωστό σημείο.