Как работает механизм получения сообщений из Kafka консюмером? Где хранится offset?

Консюмер Kafka получает сообщения из топика, подписываясь на определённые партиции. Он читает сообщения последовательно, начиная с определённого offset — позиции в партиции.

Механизм работы:

• Консюмер запрашивает у брокера сообщения, начиная с текущего offset.
• После обработки сообщений консюмер может зафиксировать (commit) offset, чтобы при перезапуске или сбое продолжить чтение с последнего обработанного сообщения.

Где хранится offset:

• В Kafka offset обычно хранится в специальном внутреннем топике __consumer_offsets.
• Также можно настроить хранение offset в внешних системах (например, в базе данных) или управлять вручную.

Это позволяет консюмерам быть устойчивыми к сбоям и не терять позицию чтения.