Kas ir NF4 kvantēšana QLoRA?

QLoRA NF4 kvantizācija ir metode, kā komprimēt lielu valodu modeļu (LLM) svarus, izmantojot 4 bitu kvantizāciju ar normalizētu formātu (Normalized Format 4-bit). Mērķis ir samazināt modeļa izmēru un paātrināt apmācību ar zemu atmiņas izmantošanu, saglabājot precizitāti.

Atšķirībā no parastās 4 bitu kvantizācijas, NF4 ņem vērā svaru vērtību sadalījumu un piemēro normalizāciju, kas ļauj efektīvāk kodēt modeļa parametrus. Tas ir īpaši noderīgi lielu modeļu finetuningā (fine-tuning) ar ierobežotiem resursiem.

Tādējādi NF4 kvantizācija QLoRA ir kompromiss starp modeļa lielumu un kvalitāti, ļaujot palaist un veikt finetuning LLM uz mazāk jaudīga aprīkojuma.