Были ли случаи, когда событие не доходило или были дубликаты? Что с этим делали?

Да, в реальных системах часто бывают случаи, когда события не доходят до потребителя или приходят дубликаты. Это связано с сетевыми сбоями, ошибками в обработке, повторной отправкой сообщений и т.п.

Для решения этих проблем применяют несколько подходов:

• Идемпотентность — обработка события так, чтобы повторное получение не влияло на результат (например, проверка уникальности по ID).
• Подтверждения (acknowledgements) — потребитель подтверждает получение события, и отправитель повторяет отправку, если подтверждение не получено.
• Использование очередей с гарантией доставки — например, RabbitMQ, Kafka, которые обеспечивают надежную доставку и позволяют контролировать дубликаты.
• Логирование и мониторинг — для выявления и анализа пропущенных или дублированных событий.

Пример в Python с использованием Redis Stream, где можно отслеживать обработанные сообщения и избегать дубликатов:

processed_ids = set()

for message in redis_stream.read():
    msg_id = message['id']
    if msg_id in processed_ids:
        continue  # пропускаем дубликат
    process(message)
    processed_ids.add(msg_id)

Таким образом, комбинация надежных механизмов доставки и идемпотентной обработки помогает минимизировать проблемы с потерей и дубликатами событий.