Kafka Streams — это библиотека для обработки потоков данных поверх Apache Kafka. Она позволяет создавать приложения, которые читают, обрабатывают и записывают данные в Kafka в режиме реального времени.

Отличия от обычной схемы работы с Kafka:

Высокоуровневая абстракция: Kafka Streams предоставляет удобный API для трансформации потоков, агрегаций, объединений и оконных вычислений, в то время как обычная работа с Kafka — это просто чтение и запись сообщений.
Без отдельного кластера: Kafka Streams запускается как часть вашего приложения, не требует отдельного кластера для обработки (в отличие от Kafka Connect или Apache Flink).
Состояние и fault-tolerance: встроенная поддержка хранения состояния (state stores) и восстановления после сбоев.

Пример использования Kafka Streams на Java:

StreamsBuilder builder = new StreamsBuilder();
KStream<String, String> source = builder.stream("input-topic");

KStream<String, String> filtered = source.filter((key, value) -> value.contains("important"));
filtered.to("output-topic");

KafkaStreams streams = new KafkaStreams(builder.build(), props);
streams.start();

Таким образом, Kafka Streams упрощает создание потоковых приложений с богатой логикой обработки данных, используя возможности Kafka.

Что такое Kafka Streams, чем отличается от обычной схемы работы с Kafka?