Czym jest Inwersja Tekstowa i czym różni się od LoRA?

Tekstowa Inwersja i LoRA to metody dostosowywania dużych modeli generatywnej sztucznej inteligencji (np. modeli dyfuzyjnych) do nowych koncepcji lub stylów, ale różnią się podejściem i zastosowaniem.

Tekstowa Inwersja to technika, w której model uczy się łączyć nową koncepcję z unikalnym tokenem w przestrzeni tekstowej. Tworzy się więc nowe "słowo" lub "token", który koduje określony styl wizualny lub obiekt. Pozwala to na użycie nowego tokena w podpowiedziach (promptach) do generowania obrazów z tym pojęciem bez zmiany samego modelu.

LoRA (Low-Rank Adaptation) to metoda adaptacji wag modelu poprzez dodanie macierzy niskiego rzędu, które są trenowane na nowym zadaniu lub stylu. LoRA zmienia parametry modelu, ale robi to efektywnie, nie wymagając pełnego ponownego treningu. Pozwala to na szybkie dostosowanie modelu do nowych danych przy mniejszych kosztach.

Podsumowując:

• Tekstowa Inwersja działa na poziomie reprezentacji tekstowej, dodając nowe tokeny.
• LoRA modyfikuje wewnętrzne wagi modelu dla adaptacji.

Obie metody pozwalają na rozszerzenie możliwości modeli generatywnych, ale Tekstowa Inwersja jest prostsza do dodawania nowych pojęć, a LoRA do głębszej adaptacji modelu.