Mobil modellər üçün post-təlim kvantizasiyası nədir?

Təlimdən sonra kvantizasiya neyron şəbəkələrinin optimallaşdırılması metodudur və modelin təlimi tamamlandıqdan sonra tətbiq olunur. Bu, modelin ölçüsünü kiçiltir və onun mobil və edge cihazlarda işləmə sürətini artırır, çəkilərin və aktivləşmələrin dəqiqliyini azaldaraq (məsələn, 32-bit float-dan 8-bit tam ədədə).

Əsas üstünlüklər:

• Modelin saxlanması üçün lazım olan yaddaş miqdarını azaltmaq.
• İnferens vaxtını və enerji sərfiyyatını azaltmaq.

Əsasən proses aşağıdakı addımları əhatə edir:

1. Modelin çəkilərinin kvantizasiyası.
2. (İstəyə bağlı) Kalibrləmə məlumat dəstindən istifadə edərək aktivləşmələrin kvantizasiyası.

Bu, məhdud resurslara malik cihazlarda modelləri yenidən öyrənmədən və ya minimal əlavə tənzimləmə ilə işlətməyə imkan verir.