O que é a quantização pós-treinamento para modelos móveis?

A quantização pós-treinamento é um método de otimização de redes neurais aplicado após a conclusão do treinamento do modelo. Ela reduz o tamanho do modelo e acelera seu funcionamento em dispositivos móveis e edge, diminuindo a precisão dos pesos e ativações (por exemplo, de float de 32 bits para inteiros de 8 bits).

Vantagens principais:

• Redução do volume de memória necessário para armazenar o modelo.
• Diminuição do tempo de inferência e consumo de energia.

O processo geralmente inclui:

1. Quantização dos pesos do modelo.
2. (Opcional) Quantização das ativações usando um conjunto de dados de calibração.

Isso permite executar modelos em dispositivos com recursos limitados sem re-treinamento ou com uma configuração adicional mínima.