В Apache Kafka Consumer сохраняет информацию о своем положении в потоке данных с помощью смещений (offsets). Offset — это порядковый номер сообщения в партиции топика.

Consumer периодически коммитит (сохраняет) текущий offset, чтобы при перезапуске или сбое продолжить чтение с нужного места. Коммит может быть автоматическим (auto-commit) или ручным.

В Go-клиентах Kafka (например, sarama) offset обычно сохраняется в специальном топике __consumer_offsets, управляемом самим Kafka. Это позволяет нескольким потребителям в группе координировать чтение и гарантировать, что каждое сообщение обработано ровно один раз.

Пример ручного коммита offset в Go с использованием sarama:

partitionConsumer, _ := consumer.ConsumePartition(topic, partition, sarama.OffsetNewest)

for msg := range partitionConsumer.Messages() {
    // обработка сообщения
    fmt.Println(string(msg.Value))
    // коммит offset
    consumer.MarkOffset(msg, "")
}

Таким образом, позиция потребителя в потоке — это последний закоммиченный offset, который хранится в Kafka и позволяет возобновить чтение с нужного места.

Каким образом Consumer в Kafka сохраняет информацию о своем положении в потоке данных?