Weight-only quantization ve aktivasyon quantization nedir?

Ağırlıklar sadece kuantizasyonu — bu, yalnızca modelin ağırlıklarının (parametrelerin) kuantize edildiği bir sinir ağı sıkıştırma yöntemidir, aktivasyonlar ise orijinal formatında (genellikle kayan nokta) kalır. Bu, model boyutunu azaltır ve çıkarımı hızlandırır, aynı zamanda aktivasyonların hesaplama doğruluğunu korur.

Aktivasyon kuantizasyonu — sadece ağırlıkların değil, aynı zamanda katman çıkışlarının (aktivasyonların) da kuantize edilmesidir. Bu, bellek ve hesaplama kaynakları üzerindeki gereksinimleri daha da azaltabilir, ancak aktivasyonların kuantizasyonu modelin dinamiğini etkilediği için doğruluk kaybını artırabilir.

Büyük dil modelleri (LLM) bağlamında, yalnızca ağırlıkların kuantizasyonu, kaliteyi önemli ölçüde azaltmadan modeli küçültmek için sıklıkla kullanılırken, aktivasyon kuantizasyonu daha agresif optimizasyonlar için uygulanır ve dikkatli ayar ve doğruluk kayıplarının telafisini gerektirir.