Wie funktioniert der Mechanismus zum Empfang von Nachrichten aus Kafka durch den Verbraucher? Wo wird der Offset gespeichert?

Консюмер Kafka получает сообщения из топика, подписываясь на определённые партиции. Он читает сообщения последовательно, начиная с определённого offset — позиции в партиции.

Механизм работы:

• Консюмер запрашивает у брокера сообщения, начиная с текущего offset.
• После обработки сообщений консюмер может зафиксировать (commit) offset, чтобы при перезапуске или сбое продолжить чтение с последнего обработанного сообщения.

Где хранится offset:

• В Kafka offset обычно хранится в специальном внутреннем топике __consumer_offsets.
• Также можно настроить хранение offset в внешних системах (например, в базе данных) или управлять вручную.

Это позволяет консюмерам быть устойчивыми к сбоям и не терять позицию чтения.