Что хотят услышать интервьюеры:

Kafka и Redis решают разные задачи, хотя оба могут использоваться для обмена данными между сервисами. Kafka — это распределённая платформа потоковой обработки и долговременного хранения событий, а Redis — очень быстрый in-memory хранилище, часто используемое как кэш, брокер сообщений или pub/sub. Важно показать понимание их архитектуры, гарантий доставки и типичных сценариев применения.

Определение:

Kafka — распределённый commit log для событий. Она хранит сообщения в топиках, поддерживает партиции, репликацию и чтение сообщений разными потребителями независимо друг от друга.

Redis — in-memory data store с очень низкой задержкой. Может использоваться как кэш, хранилище структур данных, а также для pub/sub и очередей, но в первую очередь это не event streaming платформа, как Kafka.

Архитектурно Kafka ориентирована на надёжную долговременную доставку и масштабирование потока событий, а Redis — на быстрый доступ к данным в памяти.

Пример использования:

Kafka подходит для сценария, где нужно собирать события из нескольких сервисов, хранить их длительно и отдельно обрабатывать разными потребителями: например, заказы, платежи и аналитика.

Redis подходит, когда нужно быстро хранить временные данные: например, кэш профиля пользователя, счётчик просмотров или короткоживущие сообщения через pub/sub.

// Kafka: событие отправляется в топик и может быть позже прочитано несколькими потребителями
producer.send(new ProducerRecord<>("orders", orderId, orderJson));

// Redis: быстрый кэш для чтения по ключу
redisTemplate.opsForValue().set("user:123", userJson, Duration.ofMinutes(10));
String cachedUser = redisTemplate.opsForValue().get("user:123");

Пояснение кода:

В примере с Kafka сообщение с заказом публикуется в топик orders. Оно сохраняется в журнале, и его могут прочитать несколько независимых consumer-групп, например сервис доставки и сервис аналитики.

В примере с Redis данные пользователя кладутся по ключу user:123 с TTL 10 минут. Это типичный кэш-сценарий: приложение сначала пытается прочитать значение из Redis, а при промахе обращается в БД и записывает результат обратно в кэш.

Ключевые моменты:

Kafka — для потоков событий, Redis — для быстрого доступа к данным в памяти.
Kafka лучше подходит для надёжной доставки, повторного чтения и длительного хранения сообщений.
Redis чаще используют как кэш, временное хранилище, distributed lock или pub/sub.
Kafka масштабируется через партиции и consumer groups, Redis — через репликацию, кластеризацию и in-memory модель.
Redis обычно быстрее по задержке, но Kafka сильнее в сценариях event-driven архитектуры и аудита событий.
Эти технологии не взаимозаменяемы: выбор зависит от требований к задержке, сохранности данных и модели обработки.

Чем различаются технологии Kafka и Redis в контексте их использования и архитектурных особенностей?