Что такое NF4-квантование в QLoRA?

NF4-квантование в QLoRA — это метод сжатия весов больших языковых моделей (LLM) с помощью 4-битного квантования с использованием нормализованного формата (Normalized Format 4-bit). Цель — уменьшить размер модели и ускорить обучение с низкими затратами на память, сохраняя при этом точность.

В отличие от обычного 4-битного квантования, NF4 учитывает распределение значений весов и применяет нормализацию, что позволяет эффективнее кодировать параметры модели. Это особенно полезно при дообучении (fine-tuning) больших моделей с ограниченными ресурсами.

Таким образом, NF4-квантование в QLoRA — это компромисс между размером модели и качеством, позволяющий запускать и дообучать LLM на более скромном оборудовании.