Что хотят услышать интервьюеры:

Gradient compression — это набор техник для уменьшения объёма данных, которыми обмениваются узлы при распределённом обучении. Обычно цель — снизить сетевой трафик и ускорить синхронизацию градиентов без существенной потери качества модели. На практике это важно там, где обучение упирается не в вычисления на GPU, а в коммуникации между ними.

Определение:

Gradient compression — это сжатие или упрощение градиентов перед передачей между worker’ами в distributed training. Вместо отправки полного dense-градиента в исходной точности используют, например, квантование, sparsification или топ-k отбор. Идея в том, чтобы уменьшить объём пересылаемых данных и тем самым снизить коммуникационные издержки при синхронном или асинхронном обучении.

Пример использования:

В обучении большой модели на 8 GPU градиенты после каждого шага синхронизируются по сети. Если размер модели большой, то время на all-reduce может стать узким местом. Тогда можно, например, передавать градиенты в 8-битном виде или отправлять только наиболее значимые элементы, а остальное аккумулировать в error feedback.

# Псевдокод идеи top-k compression
grad = compute_gradient(model)

# Оставляем только k самых больших по модулю значений
indices = top_k_indices(abs(grad), k=1000)
compressed_grad = grad[indices]

send_to_other_workers(compressed_grad, indices)

# На принимающей стороне восстанавливают sparse-градиент

Пояснение кода:

В этом примере код показывает только принцип, а не готовую реализацию. Сначала вычисляется полный градиент. Затем выбираются k наиболее значимых элементов по модулю, чтобы отправить только их значения и индексы. На другой стороне эти значения вставляются обратно в вектор нужного размера, а остальные элементы считаются нулевыми. В реальных системах часто дополнительно используют накопление ошибки, чтобы не терять информацию от отброшенных компонент.

Ключевые моменты:

Основная цель gradient compression — уменьшить сетевой overhead при distributed training.
Часто применяется в multi-GPU и multi-node обучении, где коммуникации дороже локальных вычислений.
Основные подходы: sparsification, quantization, top-k, low-rank approximation.
Может ускорять обучение, но иногда ухудшает сходимость или требует дополнительных механизмов коррекции ошибки.
Особенно полезен, когда модель большая, а сеть между узлами относительно медленная.
Важно измерять компромисс между скоростью, точностью и стабильностью обучения.

Что такое gradient compression и где он применяется?