Какво е weight-only квантоване и квантоване на активиране?

Само квантоване на тегла — това е метод за компресиране на невронни мрежи, при който се квантизират само теглата на модела (параметрите), докато активиранията остават в първоначалния си формат (обикновено с плаваща точка). Това намалява размера на модела и ускорява инференцията, като запазва точността на изчисленията на активиранията.

Квантизация на активиранията — това е квантоване не само на теглата, но и на изходите на слоевете (активиранията). Това позволява допълнително намаляване на изискванията към паметта и изчислителните ресурси, но може да доведе до по-голяма загуба на точност, тъй като квантоването на активиранията влияе на динамиката на работата на модела.

В контекста на големите езикови модели (LLM) често се използва само квантоване на теглата за намаляване на размера на модела без съществено влошаване на качеството, а квантоването на активиранията се прилага за по-агресивна оптимизация, която изисква внимателна настройка и компенсация на загубите на точност.