Ce este cuantizarea doar a greutăților și cuantizarea activării?

Quantizarea doar a greutăților — este o metodă de comprimare a rețelelor neuronale în care doar greutățile modelului (parametrii) sunt cuantizate, în timp ce activările rămân în formatul lor original (de obicei cu virgulă mobilă). Aceasta reduce dimensiunea modelului și accelerează inferența, păstrând precizia calculului activărilor.

Quantizarea activărilor — este cuantizarea nu doar a greutăților, ci și a activărilor (ieșirile straturilor). Acest lucru permite reducerea suplimentară a cerințelor de memorie și resurse de calcul, dar poate duce la o pierdere mai mare de precizie, deoarece cuantizarea activărilor afectează dinamica funcționării modelului.

În contextul modelelor mari de limbaj (LLM), cuantizarea doar a greutăților este adesea utilizată pentru a reduce dimensiunea modelului fără o deteriorare semnificativă a calității, în timp ce cuantizarea activărilor este aplicată pentru o optimizare mai agresivă, care necesită ajustare atentă și compensare a pierderilor de precizie.