O que é a Inversão Textual e como ela difere do LoRA?

Inversão Textual e LoRA são métodos para adaptar grandes modelos de IA generativa (por exemplo, modelos de difusão) a novos conceitos ou estilos, mas diferem na abordagem e aplicação.

Inversão Textual é uma técnica na qual o modelo aprende a associar um novo conceito a um token único no espaço de texto. Ou seja, cria-se uma nova "palavra" ou "token" que codifica um estilo visual ou objeto específico. Isso permite usar o novo token em prompts para gerar imagens com esse conceito sem alterar o próprio modelo.

LoRA (Low-Rank Adaptation) é um método de adaptação dos pesos do modelo adicionando matrizes de baixo rank, treinadas para uma nova tarefa ou estilo. LoRA altera os parâmetros do modelo de forma eficiente, sem necessidade de re-treinamento completo. Isso permite adaptar rapidamente o modelo a novos dados com menores custos.

Resumindo:

• Textual Inversion funciona ao nível da representação textual, adicionando novos tokens.
• LoRA modifica os pesos internos do modelo para adaptação.

Ambos os métodos ampliam as capacidades dos modelos generativos, sendo que Textual Inversion é mais simples para adicionar novos conceitos, e LoRA para uma adaptação mais profunda do modelo.