Mobil modellari uchun post-trening kvantizatsiyasi nima?

Tahririy treningdan keyin kvantizatsiya neyron tarmoqlarini optimallashtirish usulidir, u modelni tugatgandan so'ng qo'llaniladi. U model hajmini kamaytiradi va mobil va edge qurilmalarda ishlash tezligini oshiradi, og'irliklar va aktivatsiyalarning aniqligini pasaytirish orqali (masalan, 32-bit float dan 8-bit butun sonlarga).

Asosiy afzalliklar:

• Modelni saqlash uchun zarur bo'lgan xotira hajmini kamaytiradi.
• Inferens va energiya sarfini kamaytiradi.

Jarayon odatda quyidagilarni o'z ichiga oladi:

1. Model og'irliklarini kvantizatsiya qilish.
2. (Ixtiyoriy) Kalibrlash ma'lumotlar to'plami yordamida aktivatsiyalarni kvantizatsiya qilish.

Bu cheklangan resurslarga ega qurilmalarda modellarni qayta o'qitmasdan yoki minimal qo'shimcha sozlash bilan ishga tushirish imkonini beradi.