Какво е NF4 квантуване в QLoRA?

NF4-квантоването в QLoRA е метод за компресиране на теглата на големи езикови модели (LLM) чрез 4-битово квантоване с използване на нормализиран формат (Normalized Format 4-bit). Целта е да се намали размерът на модела и да се ускори обучението с ниски разходи за памет, като същевременно се запази точността.

За разлика от обикновеното 4-битово квантоване, NF4 взема предвид разпределението на стойностите на теглата и прилага нормализация, което позволява по-ефективно кодиране на параметрите на модела. Това е особено полезно при дообучение (fine-tuning) на големи модели с ограничени ресурси.

Така NF4-квантоването в QLoRA е компромис между размера на модела и качеството, позволяващ стартиране и дообучение на LLM на по-скромно оборудване.