Quels hyperparamètres de LoRA sont importants (r, alpha, target_modules) ?

Dans LoRA (Low-Rank Adaptation), les hyperparamètres suivants sont importants :

• r (rang) — rang de l’approximation à faible rang. Détermine la dimension des matrices entraînées. Une valeur r plus petite réduit le nombre de paramètres et la charge de calcul, mais peut diminuer la qualité de l’adaptation.

• alpha — coefficient de mise à l’échelle. Utilisé généralement pour ajuster la sortie des adaptateurs LoRA, influençant la vitesse et la stabilité de l’apprentissage.

• target_modules — liste des modules du modèle auxquels LoRA est appliqué. Permet de choisir quelles parties du modèle seront adaptées, ce qui est important pour contrôler le volume de l’apprentissage et préserver la performance.

Le bon choix de ces paramètres influence l’équilibre entre l’efficacité de l’apprentissage et la qualité de l’adaptation du modèle.