Как устроено сжатие в ClickHouse?

ClickHouse использует несколько уровней сжатия для оптимизации хранения данных и повышения скорости чтения. Основная идея — сжимать данные по столбцам, так как ClickHouse — колоночная СУБД.

1. Сжатие на уровне блоков данных (data parts): данные разбиваются на части (parts), каждая часть содержит столбцы с данными. Для каждого столбца данные хранятся отдельно и сжимаются.

2. Используемые алгоритмы сжатия:

   • LZ4 — самый распространённый, обеспечивает хорошее соотношение скорости и степени сжатия.
   • ZSTD — более эффективный по степени сжатия, но медленнее.
   • Delta, Gorilla и другие специализированные алгоритмы для числовых и временных данных.

3. Сжатие на уровне значений:

   • Для числовых данных применяется дельта-кодирование (хранится разница между соседними значениями), что улучшает сжимаемость.
   • Для строк — словари и префиксное сжатие.

4. Настройка сжатия:

   • Можно выбирать алгоритм сжатия для таблицы или даже для отдельных столбцов.
   • Есть возможность настроить уровень компрессии для баланса между скоростью и размером.

Пример настройки сжатия при создании таблицы:

CREATE TABLE example (
    id UInt64,
    name String
) ENGINE = MergeTree()
ORDER BY id
SETTINGS compression = 'ZSTD';

Таким образом, сжатие в ClickHouse — это комбинация колоночного хранения, специализированных алгоритмов и оптимизаций для разных типов данных, что позволяет эффективно хранить и быстро обрабатывать большие объёмы информации.