Qu'est-ce que la quantification uniquement des poids et la quantification d'activation?

Quantification uniquement des poids — c'est une méthode de compression des réseaux neuronaux dans laquelle seuls les poids du modèle (paramètres) sont quantifiés, tandis que les activations restent dans leur format d'origine (généralement en virgule flottante). Cela réduit la taille du modèle et accélère l'inférence, tout en conservant la précision des calculs d'activation.

Quantification des activations — c'est la quantification non seulement des poids, mais aussi des activations (sorties des couches). Cela permet de réduire davantage les exigences en mémoire et en ressources de calcul, mais peut entraîner une perte de précision plus importante, car la quantification des activations influence la dynamique du fonctionnement du modèle.

Dans le contexte des grands modèles de langage (LLM), la quantification uniquement des poids est souvent utilisée pour réduire la taille du modèle sans dégradation significative de la qualité, tandis que la quantification des activations est appliquée pour une optimisation plus agressive, nécessitant un réglage minutieux et une compensation des pertes de précision.