Kas yra Textual Inversion ir kaip jis skiriasi nuo LoRA?

Tekstinė inversija ir LoRA yra metodai, skirti didelių generatyviosios dirbtinio intelekto modelių (pvz., difuzijos modelių) pritaikymui naujoms koncepcijoms ar stilistams, tačiau jie skiriasi požiūriu ir taikymu.

Tekstinė inversija — tai technika, kurioje modelis išmoksta susieti naują koncepciją su unikaliu žodžiu teksto erdvėje. Taigi, sukuriamas naujas "žodis" arba "toksinas", kuris koduoja tam tikrą vizualinį stilių ar objektą. Tai leidžia naudoti naująjį žodį (prompt) vaizdų generavimui su šia koncepcija, nekeičiant paties modelio.

LoRA (Low-Rank Adaptation) — tai metodas, kai modelio svoriai pritaikomi pridėjus žemo rango matricų, kurios mokomos naujam uždaviniui ar stilistui. LoRA efektyviai keičia modelio parametrus, nereikalaujant visiško pertrenavimo. Tai leidžia greitai pritaikyti modelį naujiems duomenims su mažesnėmis sąnaudomis.

Santrauka:

• Tekstinė inversija veikia teksto reprezentacijos lygyje, pridedant naujus žodžius.
• LoRA keičia modelio vidinius svorius pritaikymui.

Abi metodai leidžia išplėsti generatyvių modelių galimybes, tačiau Tekstinė inversija yra paprastesnė naujų koncepcijų pridėjimui, o LoRA — giliau modelio pritaikymui.