Cos'è LoRA e perché funziona (ipotesi di rango basso)?

LoRA (Low-Rank Adaptation) è un metodo di fine-tuning di grandi modelli di linguaggio (LLM) che consente di adattare efficacemente il modello a nuovi compiti con risorse minime.

L'idea si basa sull'ipotesi di basso rango: le modifiche ai pesi di un grande modello durante l'adattamento possono essere approssimate da matrici di basso rango. Invece di aggiornare tutti i parametri del modello, LoRA aggiunge piccole matrici di basso rango ai pesi esistenti, addestrando solo queste.

Questo riduce significativamente il numero di parametri addestrabili e la memoria necessaria per memorizzare il modello adattato, mantenendo qualità e flessibilità.

Più o meno funziona così:

# Supponiamo che W sia la matrice di pesi originale
# LoRA aggiunge due matrici A e B di basso rango r
# Pesi aggiornati: W' = W + B @ A

# Durante l'addestramento, solo A e B vengono aggiornate, W rimane fisso

In questo modo, LoRA permette di adattare rapidamente ed efficacemente grandi modelli senza la necessità di un re-training completo.