Что такое Textual Inversion и чем он отличается от LoRA?

Textual Inversion и LoRA — это методы для адаптации больших моделей генеративного ИИ (например, диффузионных моделей) под новые концепты или стили, но они отличаются по подходу и применению.

Textual Inversion — это техника, при которой модель обучается связывать новое понятие с уникальным токеном в текстовом пространстве. То есть создаётся новый «слово» или «токен», который кодирует определённый визуальный стиль или объект. Это позволяет использовать новый токен в подсказках (prompt) для генерации изображений с этим понятием без изменения самой модели.

LoRA (Low-Rank Adaptation) — это метод адаптации весов модели путём добавления низкоранговых матриц, которые обучаются на новой задаче или стиле. LoRA изменяет параметры модели, но делает это эффективно, не требуя полного переобучения. Это позволяет быстро адаптировать модель под новые данные с меньшими затратами.

В итоге:

• Textual Inversion работает на уровне текстового представления, добавляя новые токены.
• LoRA изменяет внутренние веса модели для адаптации.

Оба метода позволяют расширять возможности генеративных моделей, но Textual Inversion проще для добавления новых понятий, а LoRA — для более глубокой адаптации модели.