Mi az a weight-only kvantálás és az aktiváció kvantálás?

Csak súly kvantizálás — ez egy neurális hálózatok tömörítési módszere, amely során csak a modell súlyait (paramétereit) kvantizálják, míg az aktivációk eredeti formában (általában lebegőpontos formában) maradnak. Ez csökkenti a modell méretét és gyorsítja az inferenciát, miközben megőrzi az aktivációk számítási pontosságát.

Aktiváció kvantizálás — ez nemcsak a súlyok, hanem a rétegek kimeneteinek (aktivációinak) kvantizálását is jelenti. Ez további memória- és számítási erőforrás csökkentést tesz lehetővé, de nagyobb pontosságvesztést eredményezhet, mivel az aktivációk kvantizálása befolyásolja a modell dinamikáját.

Nagy nyelvi modellek (LLM) esetében a csak súly kvantizálást gyakran használják a modell méretének csökkentésére anélkül, hogy jelentősen rontanák a minőséget, míg az aktiváció kvantizálását agresszívebb optimalizációra alkalmazzák, amely precíz hangolást és pontosságveszteségek kompenzálását igényli.