Kas yra weight-only kvantizacija ir aktyvacijos kvantizacija?

Svorio tik kvantizavimas — tai neuroninių tinklų suspaudimo metodas, kai kvantizuojami tik modelio svoriai (parametrai), o aktyvacijos lieka pradiniame formate (dažniausiai su plaukiojančiu tašku). Tai sumažina modelio dydį ir pagreitina inferenciją, išlaikant aktyvacijų skaičiavimo tikslumą.

Aktyvacijų kvantizavimas — tai ne tik svorių, bet ir sluoksnių išėjimų (aktyvacijų) kvantizavimas. Tai leidžia papildomai sumažinti atminties ir skaičiavimo išteklių reikalavimus, tačiau gali sukelti didesnį tikslumo praradimą, nes aktyvacijų kvantizavimas veikia modelio dinamiką.

Didelių kalbos modelių (LLM) kontekste dažnai naudojamas tik svorių kvantizavimas, siekiant sumažinti modelio dydį be reikšmingo kokybės sumažėjimo, o aktyvacijų kvantizavimas taikomas agresyvesnei optimizacijai, reikalaujančiai kruopštaus nustatymo ir tikslumo praradimų kompensavimo.