Como é que os duplicados eram filtrados? Não era possível identificar um duplicado pelo ID? Por que enriquecer os dados do Redis?

Дубли могли отсекаться не только по ID, потому что ID может быть не уникальным или отсутствовать в некоторых случаях, особенно если данные приходят из разных источников. Поэтому для определения дублей использовались дополнительные критерии, например, сравнение ключевых полей или хеширование содержимого.

Обогащение данных из Redis делалось для повышения качества и полноты информации: Redis часто используется как быстрый кэш или хранилище сессий, где можно получить дополнительные метаданные, которые не хранятся в основном источнике. Это позволяет избежать повторных запросов к медленным базам данных и ускорить обработку, а также обеспечить консистентность и актуальность данных при объединении информации из разных систем.