Wat is weight-only kwantisatie en activatie-kwantisatie?

Gewicht-alleen kwantisatie — dit is een methode voor het comprimeren van neurale netwerken waarbij alleen de gewichten van het model (parameters) worden gekwantiseerd, terwijl activaties in het oorspronkelijke formaat blijven (meestal met drijvende komma). Dit vermindert de grootte van het model en versnelt de inferentie, terwijl de precisie van de activatie-berekeningen behouden blijft.

Activatie-kwantisatie — dit is de kwantisatie van niet alleen de gewichten, maar ook van de activaties (uitgangen van lagen). Dit maakt het mogelijk om de geheugen- en rekenvereisten verder te verminderen, maar kan leiden tot een grotere verlies van precisie, omdat de kwantisatie van activaties de dynamiek van het model beïnvloedt.

In de context van grote taalmodellen (LLM) wordt alleen-gewichts-kwantisatie vaak gebruikt om de grootte van het model te verminderen zonder significante kwaliteitsvermindering, terwijl activatie-kwantisatie wordt toegepast voor agressievere optimalisatie, die zorgvuldige afstemming en compensatie van verlies van precisie vereist.