Что значит 'не держать состояние на брокере' в контексте Kafka?

В контексте Kafka фраза «не держать состояние на брокере» означает, что брокеры Kafka не хранят никакого бизнес-логического состояния или информации о состоянии потребителей, кроме самой очереди сообщений и метаданных топиков. Все состояние, связанное с обработкой сообщений (например, смещения потребителей, агрегированные данные, состояние сессий), хранится на стороне клиентов или в специальных хранилищах (например, Kafka Streams State Stores или внешних базах данных).

Это позволяет брокерам оставаться максимально простыми и масштабируемыми, а логику обработки состояния переносить в приложения, которые могут гибко управлять и восстанавливать своё состояние.

Пример: смещение (offset) потребителя хранится в Kafka, но само приложение отвечает за то, как и когда его коммитить, а бизнес-логику состояния (например, подсчёт количества событий) приложение хранит локально или в отдельном сторе.