Ce este LoRA și de ce funcționează (ipoteza de rang scăzut)?

LoRA (Low-Rank Adaptation) este o metodă de ajustare fină a modelelor mari de limbaj (LLM) care permite adaptarea eficientă a modelului la noi sarcini cu resurse minime.

Ideea se bazează pe ipoteza de rang scăzut: modificările în greutățile unui model mare în timpul adaptării pot fi aproximative prin matrici de rang scăzut. În loc să actualizeze toți parametrii modelului, LoRA adaugă mici matrici de rang scăzut la greutățile existente, antrenând doar aceste matrici.

Aceasta reduce semnificativ numărul de parametri antrenabili și memoria necesară pentru stocarea modelului adaptat, păstrând calitatea și flexibilitatea ajustării.

Cam așa funcționează:

# Presupunem că W este matricea originală de greutăți
# LoRA adaugă două matrici A și B de rang scăzut r
# Greutățile actualizate: W' = W + B @ A

# În timpul antrenamentului, doar A și B sunt actualizate, W rămâne fix

Astfel, LoRA permite adaptarea rapidă și eficientă a modelelor mari fără necesitatea unui re-antrenament complet.