¿Qué es la cuantificación NF4 en QLoRA?

La cuantificación NF4 en QLoRA es un método de compresión de pesos de grandes modelos de lenguaje (LLM) mediante cuantificación de 4 bits utilizando un formato normalizado (Formato Normalizado de 4 bits). El objetivo es reducir el tamaño del modelo y acelerar el entrenamiento con bajos costos de memoria, manteniendo la precisión.

A diferencia de la cuantificación de 4 bits convencional, NF4 tiene en cuenta la distribución de los valores de los pesos y aplica normalización, lo que permite codificar los parámetros del modelo de manera más eficiente. Esto es especialmente útil en el ajuste fino (fine-tuning) de modelos grandes con recursos limitados.

Por lo tanto, la cuantificación NF4 en QLoRA es un compromiso entre el tamaño del modelo y la calidad, permitiendo ejecutar y ajustar finamente LLM en hardware más modesto.