В Kafka данные хранятся в виде последовательностей сообщений (записей) в топиках, которые разбиты на партиции. Каждая партиция — это упорядоченный, неизменяемый лог сообщений, где каждое сообщение имеет уникальный смещённый индекс (offset).

Данные физически хранятся на диске брокеров Kafka в виде сегментов файлов. Сообщения добавляются в конец партиции, что обеспечивает высокую производительность записи.

Основные особенности хранения:

Сообщения не удаляются сразу, а хранятся в течение заданного времени (retention period) или пока не достигнут лимит размера.
Потребители читают сообщения по offset, что позволяет им контролировать, какие данные уже обработаны.

Таким образом, Kafka реализует хранение данных как распределённый журнал событий с возможностью масштабирования и высокой доступностью.

Каким образом происходит хранение данных в Kafka?