Qu'est-ce que LoRA et pourquoi ça fonctionne (hypothèse de rang faible) ?

LoRA (Low-Rank Adaptation) est une méthode de fine-tuning de grands modèles de langage (LLM) qui permet d’adapter efficacement le modèle à de nouvelles tâches avec un minimum de ressources.

L’idée repose sur l’hypothèse de faible rang : les modifications des poids d’un grand modèle lors de l’adaptation peuvent être approximées par des matrices de rang faible. Au lieu de mettre à jour tous les paramètres du modèle, LoRA ajoute de petites matrices de rang faible aux poids existants, en ne formant que celles-ci.

Cela réduit considérablement le nombre de paramètres à entraîner et la mémoire nécessaire pour stocker le modèle adapté, tout en conservant la qualité et la flexibilité de l’ajustement.

Voici une illustration :

# Supposons que W est la matrice de poids d’origine
# LoRA ajoute deux matrices A et B de rang faible r
# Poids mis à jour : W' = W + B @ A

# Pendant l’entraînement, seules A et B sont mises à jour, W restant fixe

Ainsi, LoRA permet d’adapter rapidement et efficacement de grands modèles sans nécessiter de réentraînement complet.