Mis on Textual Inversion ja kuidas see erineb LoRA-st?

Tekstuaalne invertsioon ja LoRA on meetodid suurte generatiivsete tehisintellekti mudelite (näiteks difusioonimudelite) kohandamiseks uute kontseptsioonide või stiilide jaoks, kuid need erinevad lähenemise ja rakendamise poolest.

Tekstuaalne invertsioon on tehnika, kus mudel õpib seostama uue kontseptsiooni unikaalse tokeniga tekstiparanduses. Seega luuakse uus "sõna" või "token", mis kodeerib teatud visuaalse stiili või objekti. See võimaldab kasutada uut tokenit promptides selle kontseptsiooni piltide genereerimiseks, ilma et muudataks ise mudelit.

LoRA (Low-Rank Adaptation) on meetod, kus mudeli kaalud kohandatakse lisades madala ranga maatrikseid, mis treenitakse uue ülesande või stiili jaoks. LoRA muudab mudeli parameetreid tõhusalt, ilma täieliku ümberõppeta. See võimaldab kiiresti kohandada mudelit uute andmetega väiksemate kuludega.

Kokkuvõte:

• Tekstuaalne invertsioon töötab tekstilise esinduse tasandil, lisades uusi tokenid.
• LoRA muudab mudeli sisemisi kaalus kohandamiseks.

Mõlemad meetodid võimaldavad laiendada generatiivsete mudelite võimalusi, kuid Tekstuaalne invertsioon on lihtsam uute kontseptsioonide lisamiseks, LoRA aga sügavamaks mudeli kohandamiseks.