Šta se dešava ako tokom obogaćivanja jedan od servisa nije dostupan (na primer, servis sa punim imenom/podacima korisnika)? Da li se cela Kafka zaustavlja?

Если при обогащении данных один из сервисов, например сервис с ФИО или данными пользователя, недоступен, это не приводит к остановке всей Kafka. Kafka как система обмена сообщениями продолжает работать, так как она отделена от логики обработки и обогащения данных.

Что происходит на практике:

• Консьюмер, который читает сообщения из Kafka и вызывает сервис обогащения, может получить ошибку или таймаут при обращении к недоступному сервису.
• В зависимости от реализации, консьюмер может:
  • Логировать ошибку и пропускать обогащение для данного сообщения,
  • Повторять попытки (retry) с экспоненциальной задержкой,
  • Отправлять сообщение в DLQ (Dead Letter Queue) для последующего анализа,
  • Приостанавливать обработку сообщений, если это критично.

Таким образом, отказ одного сервиса не останавливает Kafka, но может влиять на обработку сообщений в конкретном консьюмере. Для устойчивости системы рекомендуется реализовывать обработку ошибок и таймаутов, а также использовать паттерны устойчивости, например Circuit Breaker.