Что хотят услышать интервьюеры:

Kafka Streams нужен для построения потоковой обработки данных прямо поверх Kafka без отдельного кластера обработки. Он позволяет читать события из топиков, преобразовывать их в реальном времени и записывать результат обратно в Kafka. Это удобно для реакций на события, агрегаций и обогащения данных с низкой задержкой.

Определение:

Kafka Streams — это библиотека для обработки потоков данных, входящих и исходящих через Apache Kafka. Она встраивается в обычное Java-приложение и позволяет строить конвейеры обработки: фильтрацию, преобразование, объединение, агрегацию и оконные вычисления. Важная идея в том, что обработка идет непрерывно и масштабируется за счет партиций Kafka.

Пример использования:

Например, сервис получает заказы из топика orders, отбрасывает отмененные заказы, считает сумму покупок по пользователю за минуту и пишет результат в топик user-spend-summary.

StreamsBuilder builder = new StreamsBuilder();

KStream<String, Order> orders = builder.stream("orders");

KStream<String, Order> activeOrders = orders.filter((key, order) -> !order.isCancelled());

KTable<String, Long> spendByUser = activeOrders
    .groupBy((key, order) -> order.getUserId())
    .count();

spendByUser.toStream().to("user-spend-summary");

Пояснение кода:

StreamsBuilder создает описание потоковой обработки.
builder.stream("orders") читает события из топика orders.
filter(...) оставляет только нужные события, например неотмененные заказы.
groupBy(...).count() группирует данные по пользователю и считает количество событий для каждой группы.
toStream().to(...) преобразует результат обратно в поток и записывает его в другой топик.

Код показывает типичный сценарий: данные пришли в Kafka, были обработаны на лету и сохранены как новый результат для других сервисов.

Ключевые моменты:

Kafka Streams — это библиотека, а не отдельный серверный фреймворк.
Основное назначение — realtime-обработка событий в экосистеме Kafka.
Поддерживает фильтрацию, трансформации, join, агрегации и окна.
Хорошо подходит для микросервисов, которым нужно реагировать на события без задержек.
Масштабирование и отказоустойчивость опираются на партиционирование Kafka.

Какова основная назначение компонента Kafka Streams в архитектуре обработки данных?