Если сервис, который читает сообщения из Kafka, падает и не вычитывает сообщения, то сообщения накапливаются в топиках Kafka. Они не удаляются, так как Kafka хранит данные в течение заданного периода времени или до достижения определённого размера лога.

В результате:

Потребитель не смещает оффсет (offset), поэтому при восстановлении он продолжит читать с того же места.
Если сервис долго не работает, то очередь сообщений растёт, что может привести к увеличению задержек обработки.
При переполнении дискового пространства на брокерах Kafka могут возникнуть проблемы, но обычно Kafka настроена так, чтобы удалять старые сообщения по политике retention.

Таким образом, падение сервиса приводит к накоплению необработанных сообщений, но данные не теряются, и после восстановления сервис может продолжить обработку с последнего сохранённого оффсета.

Что происходило если сервис падал и не вычитывал сообщения из Kafka?