¿Cómo funciona el mecanismo de recepción de mensajes desde Kafka por el consumidor? ¿Dónde se almacena el offset?

Консюмер Kafka получает сообщения из топика, подписываясь на определённые партиции. Он читает сообщения последовательно, начиная с определённого offset — позиции в партиции.

Механизм работы:

• Консюмер запрашивает у брокера сообщения, начиная с текущего offset.
• После обработки сообщений консюмер может зафиксировать (commit) offset, чтобы при перезапуске или сбое продолжить чтение с последнего обработанного сообщения.

Где хранится offset:

• В Kafka offset обычно хранится в специальном внутреннем топике __consumer_offsets.
• Также можно настроить хранение offset в внешних системах (например, в базе данных) или управлять вручную.

Это позволяет консюмерам быть устойчивыми к сбоям и не терять позицию чтения.