Вы пишете данные в ClickHouse через Kafka?

Да, запись данных в ClickHouse через Kafka — распространённый паттерн для обработки потоковых данных.

Суть в том, что приложения публикуют события в Kafka, а ClickHouse потребляет эти события через специальный движок Kafka, который позволяет напрямую читать данные из топиков Kafka и записывать их в таблицы ClickHouse.

Пример настройки таблицы в ClickHouse для чтения из Kafka:

CREATE TABLE kafka_table (
    key String,
    value String
) ENGINE = Kafka
SETTINGS
    kafka_broker_list = 'kafka1:9092,kafka2:9092',
    kafka_topic_list = 'my_topic',
    kafka_group_name = 'clickhouse_group',
    kafka_format = 'JSONEachRow';

CREATE TABLE target_table AS kafka_table ENGINE = MergeTree() ORDER BY tuple();

-- Затем данные из kafka_table можно переносить в target_table с помощью Materialized View:

CREATE MATERIALIZED VIEW mv TO target_table AS
SELECT * FROM kafka_table;

Таким образом, данные из Kafka автоматически попадают в ClickHouse для дальнейшего анализа.