Weight-only quantization жана активдүүлүк quantization деген эмне?

Жалгыз салмактардын кванттоо — бул нейрондук тармактарды кысуу ыкмасы, анда моделдин салмактары (параметрлери) гана квантталып, активдештирүүлөр баштапкы форматта калат (көп учурда учкуч нүктөсү менен). Бул моделдин өлчөмүн азайтып, инференс ылдамдыгын жогорулатат, активдештирүүлөрдүн эсептөө тактыгына зыян келтирбестен.

Активдештирүүлөрдүн квантталышы — бул салмактар гана эмес, ошондой эле катмардын чыгыштарынын (активдештирүүлөрдүн) да квантталышы. Бул эс тутум жана эсептөө ресурстарынын талаптарын дагы да кыскартууга мүмкүндүк берет, бирок активдештирүүлөрдүн квантталышы моделдин динамикасына таасир эткендиктен, тактыкты жоготууга алып келиши мүмкүн.

Ири тил моделдери (LLM) контекстинде, көбүнчө салмактардын гана квантталышы моделдин өлчөмүн маанилүү өзгөртпөстөн кыскартуу үчүн колдонулат, ал эми активдештирүүлөрдүн квантталышы катуу оптималдаштыруу үчүн колдонулат, ал тактык жоготууларынын компенсациясын жана кылдат жөндөөнү талап кылат.