За счёт чего отсекались дубли? Нельзя было по ID определить дубль? Зачем обогащать данные из Redis?

Дубли могли отсекаться не только по ID, потому что ID может быть не уникальным или отсутствовать в некоторых случаях, особенно если данные приходят из разных источников. Поэтому для определения дублей использовались дополнительные критерии, например, сравнение ключевых полей или хеширование содержимого.

Обогащение данных из Redis делалось для повышения качества и полноты информации: Redis часто используется как быстрый кэш или хранилище сессий, где можно получить дополнительные метаданные, которые не хранятся в основном источнике. Это позволяет избежать повторных запросов к медленным базам данных и ускорить обработку, а также обеспечить консистентность и актуальность данных при объединении информации из разных систем.