Cos'è l'Inversione Testuale e come si differenzia da LoRA?

L'inversione testuale e LoRA sono metodi per adattare grandi modelli di IA generativa (ad esempio, modelli di diffusione) a nuovi concetti o stili, ma differiscono per approccio e applicazione.

Inversione Testuale è una tecnica in cui il modello impara a associare un nuovo concetto a un token unico nello spazio testuale. Si crea quindi una nuova "parola" o "token" che codifica uno stile visivo o un oggetto specifico. Questo permette di usare il nuovo token nei prompt per generare immagini con questo concetto senza modificare il modello stesso.

LoRA (Low-Rank Adaptation) è un metodo di adattamento dei pesi del modello aggiungendo matrici a basso rango, che vengono addestrate per un nuovo compito o stile. LoRA modifica i parametri del modello in modo efficiente, senza richiedere un riaddestramento completo. Questo permette di adattare rapidamente il modello a nuovi dati con costi minori.

In sintesi:

• L'inversione testuale funziona a livello di rappresentazione testuale, aggiungendo nuovi token.
• LoRA modifica i pesi interni del modello per l'adattamento.

Entrambi i metodi consentono di ampliare le capacità dei modelli generativi, ma l'inversione testuale è più semplice per aggiungere nuovi concetti, mentre LoRA permette un'adattamento più profondo del modello.