Для чего нам нужно складывать сырые данные в S3 хранилище? Правильно ли использовать TTL на Redis 5 минут, или лучше хранить дольше — 24 часа, и использовать ScyllaDB как источник проверки данных?

Сырые данные складывают в S3 для долговременного и дешёвого хранения больших объёмов информации в исходном виде. Это позволяет:

• Сохранять полный исторический архив для аудита и повторного анализа.
• Обеспечивать восстановление данных при ошибках или потере в других системах.
• Использовать данные для обучения моделей или аналитики без риска повредить оригинал.

По поводу TTL в Redis:

• Redis — это in-memory хранилище, оптимальное для быстрого доступа к часто используемым данным.
• TTL в 5 минут подходит для кэширования свежих данных, которые быстро устаревают.
• Если данные нужны дольше (например, 24 часа), лучше увеличить TTL или использовать более подходящее хранилище.

ScyllaDB — это распределённая база данных с высокой производительностью и долговечностью, хорошо подходит для хранения и проверки данных в течение длительного времени.

Рекомендация:

• Использовать Redis с коротким TTL для кэша и быстрого доступа.
• Хранить сырые данные в S3 для долговременного хранения.
• Использовать ScyllaDB как источник правды и для аналитики, где данные должны храниться дольше и быть доступны для запросов.

Такой подход обеспечивает баланс между скоростью доступа и надёжностью хранения.