В Kafka для настройки хранения данных (retention) используются следующие основные параметры:

retention.ms — время хранения сообщений в миллисекундах. После истечения этого времени сообщения удаляются.
retention.bytes — максимальный размер сегмента лога в байтах. Если размер лога превышает это значение, старые данные удаляются.
log.retention.check.interval.ms — интервал проверки лога на необходимость удаления устаревших данных.

Можно настроить эти параметры на уровне топика или брокера. Например, чтобы хранить данные не более 7 дней, устанавливают retention.ms=604800000.

Также есть возможность настроить политику удаления:

delete — удалять устаревшие сообщения (по умолчанию)
compact — сохранять только последние сообщения с уникальным ключом (логическая компактификация)

Эти настройки позволяют балансировать между временем хранения данных и объемом занимаемого диска.

Какие настройки retention есть в Kafka для хранения данных?