Čo je NF4 kvantovanie v QLoRA?

NF4-kvantizácia v QLoRA je metóda kompresie váh veľkých jazykových modelov (LLM) pomocou kvantizácie na 4 bity s použitím normalizovaného formátu (Normalized Format 4-bit). Cieľom je znížiť veľkosť modelu a zrýchliť tréning s nízkymi nákladmi na pamäť, pričom sa zachová presnosť.

Na rozdiel od bežnej 4-bitovej kvantizácie NF4 zohľadňuje rozloženie hodnôt váh a aplikuje normalizáciu, čo umožňuje efektívnejšie kódovanie parametrov modelu. To je obzvlášť užitočné pri doladení (fine-tuning) veľkých modelov s obmedzenými zdrojmi.

Týmto spôsobom je NF4-kvantizácia v QLoRA kompromis medzi veľkosťou modelu a kvalitou, čo umožňuje spúšťanie a doladenie LLM na menej výkonnom hardvéri.