Jakie ilości danych trafiały do ClickHouse? Skąd? Ile RPS było przy odczycie i zapisie, w tym w partiach?
sobes.tech AI
Odpowiedź od AI
Объемы данных, попадающих в ClickHouse, зависят от конкретного проекта, но в типичных IoT-сценариях это могут быть миллионы записей в день. Источниками данных обычно являются сенсоры и устройства, передающие телеметрию, логи или метрики.
Например, если устройство отправляет данные каждую секунду, и таких устройств 1000, то в секунду поступает 1000 записей, что примерно 86,4 млн записей в сутки.
RPS (запросов в секунду) на запись может варьироваться от нескольких сотен до нескольких тысяч, часто данные пишутся батчами для оптимизации — например, по 1000 записей за один запрос. На чтение RPS зависит от нагрузки аналитических запросов, может быть от десятков до сотен запросов в секунду.
Пример батчевой записи в ClickHouse через HTTP API:
curl -X POST 'http://clickhouse-server:8123/?query=INSERT%20INTO%20table%20FORMAT%20CSV' --data-binary @data.csv
Где data.csv содержит множество строк с данными для вставки.