Что такое AWQ и в чём идея per-channel scaling?

AWQ (Adaptive Weight Quantization) — это метод квантования весов нейронных сетей, направленный на уменьшение размера модели и ускорение инференса без значительной потери качества. Идея заключается в адаптивном снижении точности представления весов, при этом учитывая их важность и распределение.

Per-channel scaling — это техника масштабирования весов по отдельным каналам (например, в сверточных слоях). Вместо того, чтобы применять один масштаб к всему тензору весов, для каждого канала вычисляется свой коэффициент масштабирования. Это позволяет более точно сохранить динамику весов и улучшить качество квантованной модели, так как разные каналы могут иметь разный диапазон значений.

Пример: если у вас есть сверточный слой с 64 выходными каналами, то для каждого канала вычисляется свой масштаб, и веса этого канала квантируются с учётом этого масштаба. Это снижает ошибку квантования по сравнению с одним общим масштабом для всех каналов.