Czym jest kwantowanie NF4 w QLoRA?

Kwantowanie NF4 w QLoRA to metoda kompresji wag dużych modeli językowych (LLM) za pomocą kwantowania 4-bitowego z użyciem znormalizowanego formatu (Normalized Format 4-bit). Celem jest zmniejszenie rozmiaru modelu i przyspieszenie treningu przy niskich kosztach pamięci, przy jednoczesnym zachowaniu dokładności.

W przeciwieństwie do zwykłego kwantowania 4-bitowego, NF4 uwzględnia rozkład wartości wag i stosuje normalizację, co pozwala na bardziej efektywne kodowanie parametrów modelu. Jest to szczególnie przydatne podczas fine-tuningu dużych modeli z ograniczonymi zasobami.

W związku z tym, kwantowanie NF4 w QLoRA to kompromis między rozmiarem modelu a jakością, umożliwiający uruchamianie i fine-tuning LLM na bardziej skromnym sprzęcie.