¿Qué es la cuantificación post-entrenamiento para modelos móviles?

La cuantificación post-entrenamiento es un método de optimización de redes neuronales que se aplica después de completar el entrenamiento del modelo. Reduce el tamaño del modelo y acelera su funcionamiento en dispositivos móviles y edge mediante la reducción de la precisión de pesos y activaciones (por ejemplo, de 32 bits float a 8 bits enteros).

Ventajas principales:

• Reducción del volumen de memoria necesaria para almacenar el modelo.
• Disminución del tiempo de inferencia y consumo de energía.

El proceso generalmente incluye:

1. Cuantificación de los pesos del modelo.
2. (Opcional) Cuantificación de las activaciones mediante un conjunto de datos de calibración.

Esto permite ejecutar modelos en dispositivos con recursos limitados sin reentrenamiento o con una configuración adicional mínima.