Weight-only quantization va activation quantization nima?

Faqat vaznli kvantizatsiya — bu neyron tarmoqlarini siqish usuli bo‘lib, unda faqat modelning vaznlari (parametrlari) kvantizatsiya qilinadi, aktivatsiyalar esa asl formatda (odatda suzuvchi nuqtali) qoladi. Bu model hajmini kamaytiradi va inferensni tezlashtiradi, aktivatsiyalar hisoblashining aniqligini saqlab qoladi.

Aktivatsiya kvantizatsiyasi — bu faqat vaznlar emas, balki qatlam chiqishlari (aktivatsiyalar) ham kvantizatsiya qilinadi. Bu xotira va hisoblash resurslari talablarini yanada kamaytirishga imkon beradi, ammo aktivatsiyalar kvantizatsiyasi modelning dinamikasiga ta'sir qilgani uchun aniqlikni oshirish mumkin.

Katta til modellari (LLM) kontekstida, faqat vaznlarning kvantizatsiyasi odatda model hajmini sezilarli darajada kamaytirmasdan ishlatiladi, aktivatsiya kvantizatsiyasi esa yanada agressiv optimallashtirish uchun qo‘llaniladi, bu esa ehtiyotkor sozlash va aniqlik yo‘qotishlarini kompensatsiya qilishni talab qiladi.