Mis on weight-only kvantiseerimine ja aktivatsiooni kvantiseerimine?

Ainult kaalude kvantimine — see on närvivõrkude tihendusmeetod, kus kvantiseeritakse ainult mudeli kaalud (parameetrid), samas kui aktivatsioonid jäävad algsesse vormi (tavaliselt ujuvpunkt). See vähendab mudeli suurust ja kiirendab inferentsi, säilitades aktivatsioonide arvutuste täpsuse.

Aktivatsioonide kvantimine — see on mitte ainult kaalude, vaid ka kihtide väljundite (aktivatsioonide) kvantimine. See võimaldab veelgi vähendada mälu- ja arvutusressursside nõudeid, kuid võib kaasa tuua suurema täpsuse kaotuse, kuna aktivatsioonide kvantimine mõjutab mudeli dünaamikat.

Suure keelemudelite (LLM) kontekstis kasutatakse sageli ainult kaalude kvantimist mudeli suuruse vähendamiseks ilma olulise kvaliteedi languseta, samas kui aktivatsioonide kvantimine rakendub agressiivsemaks optimeerimiseks, mis nõuab hoolikat häälestust ja täpsuse kaotuste kompenseerimist.