¿Qué es la cuantificación solo de peso y la cuantificación de activación?

Cuantificación solo de pesos — es un método de compresión de redes neuronales en el que solo se cuantizan los pesos del modelo (parámetros), mientras que las activaciones permanecen en su formato original (generalmente de punto flotante). Esto reduce el tamaño del modelo y acelera la inferencia, manteniendo la precisión en los cálculos de las activaciones.

Cuantificación de activaciones — es la cuantificación no solo de los pesos, sino también de las activaciones (salidas de las capas). Esto permite reducir aún más los requisitos de memoria y recursos computacionales, pero puede conducir a una mayor pérdida de precisión, ya que la cuantificación de las activaciones afecta la dinámica del funcionamiento del modelo.

En el contexto de grandes modelos de lenguaje (LLM), la cuantificación solo de pesos se usa a menudo para reducir el tamaño del modelo sin una disminución significativa en la calidad, y la cuantificación de activaciones se aplica para una optimización más agresiva, que requiere una configuración cuidadosa y compensación por las pérdidas de precisión.