Что такое post-training quantization для мобильных моделей?

Post-training quantization — это метод оптимизации нейронных сетей, применяемый после завершения обучения модели. Он уменьшает размер модели и ускоряет её работу на мобильных и edge-устройствах за счёт снижения точности весов и активаций (например, с 32-битных float до 8-битных целых).

Основные преимущества:

• Снижение объёма памяти, необходимой для хранения модели.
• Уменьшение времени инференса и энергопотребления.

Процесс обычно включает в себя:

1. Квантование весов модели.
2. (Опционально) Квантование активаций с помощью калибровочного набора данных.

Это позволяет запускать модели на устройствах с ограниченными ресурсами без повторного обучения или с минимальной дополнительной настройкой.