Was ist Weight-Only-Quantisierung und Aktivierungsquantisierung?

Nur-Gewichtsquantisierung — ist eine Methode zur Komprimierung neuronaler Netze, bei der nur die Gewichte des Modells (Parameter) quantisiert werden, während die Aktivierungen im ursprünglichen Format (meist Gleitkommazahlen) verbleiben. Dies reduziert die Modellgröße und beschleunigt die Inferenz, während die Genauigkeit der Aktivierungsberechnungen erhalten bleibt.

Aktivierungsquantisierung — ist die Quantisierung nicht nur der Gewichte, sondern auch der Aktivierungen (Ausgänge der Schichten). Dies ermöglicht eine weitere Reduzierung der Speicher- und Rechenanforderungen, kann jedoch zu einem größeren Genauigkeitsverlust führen, da die Quantisierung der Aktivierungen die Dynamik des Modells beeinflusst.

Im Kontext großer Sprachmodelle (LLM) wird die nur-Gewichtsquantisierung häufig verwendet, um die Modellgröße ohne wesentliche Qualitätsverluste zu verringern, während die Aktivierungsquantisierung für eine aggressivere Optimierung eingesetzt wird, die eine sorgfältige Feinabstimmung und Kompensation von Genauigkeitsverlusten erfordert.