Šta je Textual Inversion i kako se razlikuje od LoRA?

Textual Inversion i LoRA su metode za prilagođavanje velikih modela generativne veštačke inteligencije (npr. difuzionih modela) novim konceptima ili stilovima, ali se razlikuju po pristupu i primeni.

Textual Inversion je tehnika u kojoj model uči da poveže novi koncept sa jednim jedinstvenim tokenom u tekstualnom prostoru. Dakle, kreira se nova "reč" ili "token" koji kodira određeni vizuelni stil ili objekat. Ovo omogućava korišćenje novog tokena u promptovima za generisanje slika sa tim konceptom, bez promene samog modela.

LoRA (Low-Rank Adaptation) je metoda prilagođavanja težina modela dodavanjem matrica niskog ranga, koje se treniraju za novi zadatak ili stil. LoRA efikasno menja parametre modela, bez potrebe za potpunim ponovnim treniranjem. Ovo omogućava brzo prilagođavanje modela novim podacima uz manje troškove.

Ukratko:

• Textual Inversion radi na nivou tekstualne reprezentacije, dodajući nove tokene.
• LoRA menja unutrašnje težine modela za prilagođavanje.

Obe metode omogućavaju proširenje mogućnosti generativnih modela, ali je Textual Inversion jednostavniji za dodavanje novih pojmova, dok je LoRA pogodnija za dublju prilagodbu modela.