В Kafka offset — это числовой индекс, который указывает на позицию сообщения внутри партиции топика. Каждый новый записанный в партицию месседж получает уникальный offset, увеличивающийся на 1.

Offset используется потребителями (consumer) для отслеживания, какие сообщения они уже прочитали. Это позволяет потребителю продолжить чтение с нужного места после перезапуска или сбоя.

Пример:

В партиции топика есть сообщения с offset от 0 до N.
Потребитель прочитал сообщения до offset 100.
При следующем запуске он начнет читать с offset 101, чтобы не пропустить новые данные и не читать повторно старые.

Таким образом, offset — ключевой механизм для гарантии последовательного и надежного потребления сообщений в Kafka.

Что такое offset в Kafka?