Как ручной коммит оффсета влияет на consumer lag?

Ручной коммит оффсета в Kafka consumer означает, что приложение самостоятельно фиксирует, до какого сообщения оно успешно обработало данные из топика.

Влияние на consumer lag:

• Consumer lag — это разница между последним доступным оффсетом в партиции и оффсетом, который consumer уже обработал и зафиксировал.
• Если коммит оффсета происходит вручную и с задержкой, то lag будет увеличиваться, так как Kafka считает, что consumer ещё не обработал новые сообщения.
• При своевременном ручном коммите lag уменьшается, так как фиксируется прогресс обработки.

Таким образом, ручной коммит даёт больше контроля над тем, когда считать сообщение обработанным, но требует аккуратного управления, чтобы не допустить накопления lag и не потерять сообщения при сбоях.

Пример в Java:

consumer.commitSync(Collections.singletonMap(new TopicPartition(topic, partition), new OffsetAndMetadata(offset + 1)));

Здесь offset + 1 — следующий оффсет, который consumer будет читать, значит все сообщения до offset включительно считаются обработанными.