Parlami di ControlNet e LoRA. A cosa servono e come sono strutturati?

ControlNet e LoRA sono metodi di fine-tuning e controllo dei modelli generativi, in particolare nel campo della visione artificiale e della generazione di immagini.

ControlNet

ControlNet è un'architettura che aggiunge un ingresso controllato aggiuntivo a un modello già addestrato (ad esempio, Stable Diffusion). Permette di indirizzare la generazione di immagini tramite condizioni aggiuntive (ad esempio, contorni, pose, mappe di profondità), mantenendo la potenza e la qualità del modello di base.

• A cosa serve? Per un controllo più preciso del processo di generazione senza la necessità di riaddestrare completamente il modello.
• Come funziona? ControlNet aggiunge una rete parallela che elabora i dati di controllo e influenza gli strati del modello principale.

LoRA (Low-Rank Adaptation)

LoRA è un metodo efficiente di fine-tuning di grandi modelli, che aggiorna solo una piccola quantità di parametri rappresentati come matrici a basso rango.

• A cosa serve? Permette di adattare rapidamente e con poche risorse grandi modelli a nuovi compiti o stili.
• Come funziona? Invece di modificare tutti i pesi del modello, LoRA aggiunge piccoli strati di adattamento con basso rango, che vengono addestrati, mentre i pesi principali rimangono congelati.

Insieme, questi metodi consentono di regolare in modo flessibile ed efficiente modelli generativi per compiti e condizioni specifiche, migliorando la qualità e la controllabilità della generazione.