Mi az a Textual Inversion és miben különbözik a LoRA-tól?

A Textual Inversion és a LoRA módszerek nagy generatív MI-modellek (például diffúziós modellek) új fogalmakhoz vagy stílusokhoz való alkalmazására szolgálnak, de megközelítésük és alkalmazásuk szerint különböznek.

Textual Inversion egy olyan technika, amely során a modell megtanulja összekapcsolni az új fogalmat egy egyedi tokennel a szövegterében. Tehát egy új "szót" vagy "tokent" hozunk létre, amely egy adott vizuális stílust vagy tárgyat kódol. Ez lehetővé teszi, hogy az új tokent a promptokban használjuk, képek generálására ezzel a fogalommal anélkül, hogy magát a modellt módosítanánk.

LoRA (Low-Rank Adaptation) egy olyan módszer, amely a modell súlyait alacsony rangú mátrixok hozzáadásával igazítja, amelyeket egy új feladatra vagy stílusra tanítanak. A LoRA hatékonyan módosítja a modell paramétereit, anélkül, hogy teljes újra tanítást igényelne. Ez lehetővé teszi, hogy a modellt gyorsan alkalmazzuk új adatokra, kisebb költséggel.

Összefoglalva:

• A Textual Inversion a szöveges reprezentáció szintjén működik, új tokeneket adva hozzá.
• A LoRA a modell belső súlyait módosítja az alkalmazkodáshoz.

Mindkét módszer lehetővé teszi a generatív modellek képességeinek bővítését, de a Textual Inversion egyszerűbb az új fogalmak hozzáadásához, míg a LoRA mélyebb modell alkalmazkodást tesz lehetővé.