Šta je weight-only kvantizacija i kvantizacija aktivacije?

Kvantisacija samo težina — ovo je metoda kompresije neuronskih mreža u kojoj se kvantizuju samo težine modela (parametri), dok aktivacije ostaju u izvornom formatu (obično sa plivajućom tačkom). Ovo smanjuje veličinu modela i ubrzava inferencu, uz očuvanje tačnosti proračuna aktivacija.

Kvantisacija aktivacija — to je kvantizacija ne samo težina, već i izlaza slojeva (aktivacija). Ovo omogućava dodatno smanjenje zahteva za memorijom i računarskim resursima, ali može dovesti do veće gubitka tačnosti, jer kvantizacija aktivacija utiče na dinamiku rada modela.

U kontekstu velikih jezičkih modela (LLM), često se koristi samo kvantizacija težina za smanjenje veličine modela bez značajnog pogoršanja kvaliteta, dok se kvantizacija aktivacija primenjuje za agresivniju optimizaciju, koja zahteva pažljivo podešavanje i kompenzaciju gubitaka tačnosti.