Wat is NF4-kwantificatie in QLoRA?

De NF4-quantificatie in QLoRA is een methode om de gewichten van grote taalmodellen (LLM) te comprimeren met behulp van 4-bits kwantisatie met een genormaliseerd formaat (Normalized Format 4-bit). Het doel is om de grootte van het model te verkleinen en de training te versnellen met lage geheugen kosten, terwijl de nauwkeurigheid behouden blijft.

In tegenstelling tot gewone 4-bits kwantisatie houdt NF4 rekening met de verdeling van de gewichtswaarden en past normalisatie toe, waardoor de parameters van het model efficiënter kunnen worden gecodeerd. Dit is vooral handig bij het fine-tunen van grote modellen met beperkte middelen.

Dus, NF4-quantificatie in QLoRA is een compromis tussen modelgrootte en kwaliteit, waardoor het mogelijk is om LLM uit te voeren en fijn af te stemmen op minder krachtige hardware.