Yalnızca çəki kvantlaşdırması və aktivləşdirmə kvantlaşdırması nədir?

Yalnızca vazn kvantizasiyası — bu, neyron tarmoqlarını sıxışdırma metodudur və burada yalnız modelin vaznlari (parametrləri) kvantizasiya edilir, aktivləşmələr isə ilkin formatda (adətən uçucu nöqtə ilə) qalır. Bu, modelin ölçüsünü azaldır və çıxış sürətini artırır, aktivləşmələrin hesablanma dəqiqliyini qoruyur.

Aktivləşmə kvantizasiyası — bu, yalnız vaznlardan deyil, həm də qatların çıxışlarından (aktivləşmələrdən) kvantizasiya edir. Bu, yaddaş və hesablama resurslarının tələblərini daha da azaltmağa imkan verir, lakin aktivləşmələrin kvantizasiyası modelin dinamikasına təsir etdiyi üçün dəqiqliyin daha çox itirilməsinə səbəb ola bilər.

Böyük dil modelləri (LLM) kontekstində, yalnız vazn kvantizasiyası, modeli ölçüsünü əhəmiyyətli dərəcədə azaltmadan istifadə olunur, aktivləşmə kvantizasiyası isə daha aqressiv optimallaşdırma üçün tətbiq edilir və diqqətli tənzimləmə və dəqiqlik itkilərinin kompensasiya olunmasını tələb edir.