Какво е Textual Inversion и как се различава от LoRA?

Textual Inversion и LoRA са методи за адаптиране на големи модели за генеративен изкуствен интелект (например, дифузионни модели) към нови концепции или стилове, но се различават по подход и приложение.

Textual Inversion е техника, при която моделът се обучава да свързва нова концепция с уникален токен в текстовото пространство. Тоест, създава се ново „дума“ или „токен“, който кодира определен визуален стил или обект. Това позволява използването на новия токен в подсказки (prompt) за генериране на изображения с тази концепция, без да се променя самият модел.

LoRA (Low-Rank Adaptation) е метод за адаптиране на теглата на модела чрез добавяне на нискорангови матрици, които се обучават за нова задача или стил. LoRA ефективно променя параметрите на модела, без да изисква пълно повторно обучение. Това позволява бързо адаптиране на модела към нови данни с по-малко разходи.

Обобщение:

• Textual Inversion работи на ниво текстово представяне, добавяйки нови токени.
• LoRA променя вътрешните тегла на модела за адаптация.

И двата метода позволяват разширяване на възможностите на генеративните модели, но Textual Inversion е по-лесен за добавяне на нови понятия, а LoRA — за по-дълбока адаптация на модела.