Zašto nam je potrebno skladištiti sirove podatke u S3? Je li ispravno koristiti TTL od 5 minuta na Redis-u ili je bolje čuvati duže, na primer 24 sata, i koristiti ScyllaDB kao izvor provere podataka?

Сырые данные складывают в S3 для долговременного и дешёвого хранения больших объёмов информации в исходном виде. Это позволяет:

• Сохранять полный исторический архив для аудита и повторного анализа.
• Обеспечивать восстановление данных при ошибках или потере в других системах.
• Использовать данные для обучения моделей или аналитики без риска повредить оригинал.

По поводу TTL в Redis:

• Redis — это in-memory хранилище, оптимальное для быстрого доступа к часто используемым данным.
• TTL в 5 минут подходит для кэширования свежих данных, которые быстро устаревают.
• Если данные нужны дольше (например, 24 часа), лучше увеличить TTL или использовать более подходящее хранилище.

ScyllaDB — это распределённая база данных с высокой производительностью и долговечностью, хорошо подходит для хранения и проверки данных в течение длительного времени.

Рекомендация:

• Использовать Redis с коротким TTL для кэша и быстрого доступа.
• Хранить сырые данные в S3 для долговременного хранения.
• Использовать ScyllaDB как источник правды и для аналитики, где данные должны храниться дольше и быть доступны для запросов.

Такой подход обеспечивает баланс между скоростью доступа и надёжностью хранения.