O que é a quantificação NF4 no QLoRA?

A quantização NF4 no QLoRA é um método de compressão de pesos de grandes modelos de linguagem (LLM) usando quantização de 4 bits com um formato normalizado (Formato Normalizado de 4 bits). O objetivo é reduzir o tamanho do modelo e acelerar o treinamento com baixos custos de memória, mantendo a precisão.

Ao contrário da quantização de 4 bits convencional, o NF4 leva em consideração a distribuição dos valores dos pesos e aplica normalização, o que permite codificar os parâmetros do modelo de forma mais eficiente. Isso é especialmente útil no ajuste fino (fine-tuning) de grandes modelos com recursos limitados.

Assim, a quantização NF4 no QLoRA é um compromisso entre o tamanho do modelo e a qualidade, permitindo executar e ajustar finamente LLM em hardware mais modesto.