Koji su obim podataka ulazili u ClickHouse? Odakle? Koliko je bilo RPS pri čitanju i pisanju, uključujući u batch-evima?

Объемы данных, попадающих в ClickHouse, зависят от конкретного проекта, но в типичных IoT-сценариях это могут быть миллионы записей в день. Источниками данных обычно являются сенсоры и устройства, передающие телеметрию, логи или метрики.

Например, если устройство отправляет данные каждую секунду, и таких устройств 1000, то в секунду поступает 1000 записей, что примерно 86,4 млн записей в сутки.

RPS (запросов в секунду) на запись может варьироваться от нескольких сотен до нескольких тысяч, часто данные пишутся батчами для оптимизации — например, по 1000 записей за один запрос. На чтение RPS зависит от нагрузки аналитических запросов, может быть от десятков до сотен запросов в секунду.

Пример батчевой записи в ClickHouse через HTTP API:

curl -X POST 'http://clickhouse-server:8123/?query=INSERT%20INTO%20table%20FORMAT%20CSV' --data-binary @data.csv

Где data.csv содержит множество строк с данными для вставки.