Mis on NF4 kvantimine QLoRA-s?

QLoRA-s NF4 kvantimine on meetod suurte keelemudelite (LLM) kaalude tihendamiseks, kasutades 4-bitist kvantimist normaliseeritud formaadis (Normalized Format 4-bit). Eesmärk on vähendada mudeli suurust ja kiirendada koolitust madala mälu kuluga, säilitades samal ajal täpsuse.

Erinevalt tavalisest 4-bitisest kvantimisest arvestab NF4 kaalude väärtuste jaotust ning rakendab normaliseerimist, mis võimaldab tõhusamat mudeli parameetrite kodeerimist. See on eriti kasulik suurte mudelite fine-tuningul (fine-tuning) piiratud ressurssidega.

Seega on NF4 kvantimine QLoRA-s kompromiss mudeli suuruse ja kvaliteedi vahel, võimaldades käivitada ja teha finetuning LLM vähem võimsal riistvaral.