Kafka обеспечивает долговременное хранение сообщений за счёт использования дискового журнала (лог-файла) для каждой темы (topic). Сообщения записываются последовательно в файлы на диск, что позволяет эффективно использовать дисковое пространство и обеспечивать высокую пропускную способность записи.

Основные механизмы долговременного хранения в Kafka:

Сегментация логов: логи разбиваются на сегменты фиксированного размера, что упрощает управление и очистку.
Настраиваемый период хранения: можно задать время хранения сообщений (например, несколько дней или недель) или ограничение по размеру лога.
Отсутствие удаления после чтения: сообщения не удаляются сразу после потребления, а хранятся до истечения срока хранения.
Репликация: для отказоустойчивости данные реплицируются на несколько брокеров.

Таким образом, Kafka выступает не просто как брокер сообщений, а как распределённый журнал событий с возможностью долговременного хранения и повторного чтения сообщений.

Каким образом Kafka обеспечивает долговременное хранение сообщений?