Қызмет құлап қалса және Kafka-дан хабарламаларды оқымаса, не болады?

Если сервис, который читает сообщения из Kafka, падает и не вычитывает сообщения, то сообщения накапливаются в топиках Kafka. Они не удаляются, так как Kafka хранит данные в течение заданного периода времени или до достижения определённого размера лога.

В результате:

• Потребитель не смещает оффсет (offset), поэтому при восстановлении он продолжит читать с того же места.
• Если сервис долго не работает, то очередь сообщений растёт, что может привести к увеличению задержек обработки.
• При переполнении дискового пространства на брокерах Kafka могут возникнуть проблемы, но обычно Kafka настроена так, чтобы удалять старые сообщения по политике retention.

Таким образом, падение сервиса приводит к накоплению необработанных сообщений, но данные не теряются, и после восстановления сервис может продолжить обработку с последнего сохранённого оффсета.