Kur Kafka iekšienē tiek glabāta patērēto ziņojumu Offset vērtība?

В Apache Kafka значение Offset для потребляемых сообщений сохраняется в специальном внутреннем топике под названием __consumer_offsets. Этот топик хранит информацию о текущем положении каждого потребителя (consumer group) в каждом разделе (partition) топика.

Таким образом, Kafka не сохраняет оффсет локально у клиента, а централизованно в кластере, что позволяет потребителям восстанавливаться и продолжать чтение с нужной позиции.

Кроме того, клиенты могут сохранять оффсет вручную (commit) либо автоматически, в зависимости от настроек потребителя.

Пример в Go с использованием библиотеки confluent-kafka-go для коммита оффсетов:

consumer.CommitMessage(message)

где message — это прочитанное сообщение, оффсет которого будет сохранён.