Comment entraînent-ils LoRA pour Stable Diffusion?

LoRA (Low-Rank Adaptation) est une méthode de fine-tuning de grands modèles, tels que Stable Diffusion, avec des coûts computationnels minimaux et sans nécessiter de réentraînement complet.

L'entraînement de LoRA pour Stable Diffusion se fait généralement comme suit :

1. Prendre un modèle pré-entraîné de Stable Diffusion.
2. Introduire des matrices de faible rang supplémentaires (adaptateurs LoRA), qui apprennent à modifier les poids du modèle.
3. L'entraînement ne concerne que ces adaptateurs sur le jeu de données cible (par exemple, de nouveaux styles ou objets), tandis que les autres poids du modèle restent gelés.

Cela permet d'adapter rapidement le modèle à de nouvelles tâches ou styles, en utilisant moins de données et de ressources.

Le processus ressemble généralement à ceci :

• Préparer le jeu de données avec les images et descriptions nécessaires.
• Initialiser les adaptateurs LoRA.
• Entraîner les adaptateurs avec un optimiseur, en minimisant la fonction de perte.
• Enregistrer les adaptateurs pour une utilisation ultérieure avec le modèle principal.

Ainsi, LoRA permet d'étendre efficacement les capacités de Stable Diffusion sans réentraînement complet du modèle.