Qu'est-ce que l'inversion textuelle et en quoi diffère-t-elle de LoRA?

L'inversion textuelle et LoRA sont des méthodes pour adapter de grands modèles d'IA générative (par exemple, des modèles de diffusion) à de nouveaux concepts ou styles, mais elles diffèrent par leur approche et leur application.

Inversion Textuelle est une technique où le modèle apprend à associer un nouveau concept à un token unique dans l'espace textuel. Autrement dit, un nouveau "mot" ou "token" est créé, codant un style visuel ou un objet spécifique. Cela permet d'utiliser ce nouveau token dans des invites (prompt) pour générer des images avec ce concept sans modifier le modèle lui-même.

LoRA (Low-Rank Adaptation) est une méthode d'adaptation des poids du modèle en ajoutant des matrices de rang faible, qui sont entraînées sur une nouvelle tâche ou style. LoRA modifie les paramètres du modèle, mais de manière efficace, sans nécessiter un réentraînement complet. Cela permet d'adapter rapidement le modèle à de nouvelles données avec moins de coûts.

En résumé :

• L'inversion textuelle fonctionne au niveau de la représentation textuelle, en ajoutant de nouveaux tokens.
• LoRA modifie les poids internes du modèle pour l'adaptation.

Les deux méthodes permettent d'élargir les capacités des modèles génératifs, mais l'inversion textuelle est plus simple pour ajouter de nouveaux concepts, et LoRA pour une adaptation plus profonde du modèle.