Квантизацияи танҳо вазн ва квантизацияи фаъолият чист?

Танҳо миқдори вазн — ин усули фишурдани шабакаҳои нейронӣ мебошад, ки дар он танҳо вазнҳои модели (параметрҳо) квантизатсия мешаванд, дар ҳоле ки фаъолгардонҳо дар формати аслӣ (одатан бо нуқтаи ҳаракаткунанда) боқӣ мемонанд. Ин андозаи моделиро кам мекунад ва суръати инференсро меафзояд, ҳангоми нигоҳ доштани дақиқии ҳисобҳои фаъолгардонҳо.

Квантизатсияи фаъолгардонҳо — ин квантизатсияи на танҳо вазнҳо, балки инчунин баромадҳои қаблҳо (фаъғгардонҳо) мебошад. Ин имкон медиҳад, ки талабот ба хотира ва захираҳои ҳисоббарорӣ бештар кам карда шавад, аммо метавонад ба талафоти бештар дар дақиқӣ оварда расонад, зеро квантизатсияи фаъолгардонҳо ба динамикаи кори модели таъсир мерасонад.

Дар контексти моделҳои бузурги забон (LLM), одатан танҳо квантизатсияи вазн барои кам кардани андозаи модел бидуни пастшавии муҳим дар сифати он истифода мешавад, дар ҳоле ки квантизатсияи фаъолгардонҳо барои оптимизатсияи бештар агрессивӣ истифода мешавад, ки ниёз ба танзими эҳтиёткорона ва компенсасия кардани талафоти дақиқиро дорад.