Какво е пост-тренировъчно квантоване за мобилни модели?

След тренировка квантоването е метод за оптимизация на невронните мрежи, който се прилага след завършване на обучението на модела. Той намалява размера на модела и ускорява работата му на мобилни и edge устройства чрез намаляване на точността на теглата и активиранията (например, от float 32-бит към 8-битови цели числа).

Основните предимства:

• Намаляване на обема памет, необходим за съхранение на модела.
• Намаляване на времето за инференция и енергопотреблението.

Процесът обикновено включва:

1. Квантизация на теглата на модела.
2. (По избор) Квантизация на активиранията с помощта на калибрационен набор от данни.

Това позволява изпълнение на модели на устройства с ограничени ресурси без повторно обучение или с минимална допълнителна настройка.