¿Qué es la Inversión Textual y en qué se diferencia de LoRA?

Textual Inversion y LoRA son métodos para adaptar grandes modelos de IA generativa (por ejemplo, modelos de difusión) a nuevos conceptos o estilos, pero difieren en enfoque y aplicación.

Textual Inversion es una técnica en la que el modelo aprende a vincular un nuevo concepto con un token único en el espacio de texto. Es decir, se crea una nueva "palabra" o "token" que codifica un estilo visual o un objeto específico. Esto permite usar el nuevo token en las indicaciones (prompt) para generar imágenes con ese concepto sin modificar el modelo en sí.

LoRA (Low-Rank Adaptation) es un método de adaptación de pesos del modelo mediante la adición de matrices de bajo rango, que se entrenan en una nueva tarea o estilo. LoRA modifica los parámetros del modelo, pero de manera eficiente, sin requerir un reentrenamiento completo. Esto permite adaptar rápidamente el modelo a nuevos datos con menores costos.

En resumen:

• Textual Inversion funciona a nivel de representación textual, añadiendo nuevos tokens.
• LoRA modifica los pesos internos del modelo para la adaptación.

Ambos métodos permiten ampliar las capacidades de los modelos generativos, pero Textual Inversion es más sencillo para añadir nuevos conceptos, y LoRA para una adaptación más profunda del modelo.