Что такое weight-only quantization и activation quantization?

Weight-only quantization — это метод сжатия нейронных сетей, при котором квантизируются только веса модели (параметры), а активации остаются в исходном формате (обычно с плавающей точкой). Это снижает размер модели и ускоряет инференс, сохраняя при этом точность вычислений активаций.

Activation quantization — это квантизация не только весов, но и активаций (выходов слоев). Это позволяет дополнительно уменьшить требования к памяти и вычислительным ресурсам, но может привести к большей потере точности, так как квантизация активаций влияет на динамику работы модели.

В контексте больших языковых моделей (LLM) weight-only quantization часто используется для уменьшения размера модели без существенного ухудшения качества, а активационная квантизация применяется для более агрессивной оптимизации, требующей тщательной настройки и компенсации потерь точности.