Qu'est-ce que la quantification NF4 dans QLoRA?

La quantification NF4 dans QLoRA est une méthode de compression des poids des grands modèles de langage (LLM) utilisant une quantification en 4 bits avec un format normalisé (Format Normalisé 4 bits). L'objectif est de réduire la taille du modèle et d'accélérer l'apprentissage avec des coûts mémoire faibles, tout en conservant la précision.

Contrairement à la quantification en 4 bits classique, NF4 prend en compte la distribution des valeurs de poids et applique une normalisation, ce qui permet de coder plus efficacement les paramètres du modèle. Cela est particulièrement utile lors du fine-tuning de grands modèles avec des ressources limitées.

Ainsi, la quantification NF4 dans QLoRA est un compromis entre la taille du modèle et la qualité, permettant d'exécuter et de fine-tuner des LLM sur un matériel plus modeste.